Формат видео, вообще не при чём. avi, mp4 и flv это только контейнеры, а не способ кодировки видеопотока. Т.е. при изменении контейнера, видео не обязательно перекодируется. Просто надо использовать тот кодек, который использует ютуб, и загружать в исходник в максимальном качестве.