Это мой второй эксперимент по использованию ИИ для создания короткометражного фильма или трейлера, и я хочу исследовать, насколько далеко могу зайти, используя только ИИ. Я использовал LeonardoAI. По сути, Leonardo AI использует Stable Diffusion, и здесь нет генератора «текст-видео», но можно сгенерировать изображение и затем анимировать 4-секундное видео.
Изначально у меня была идея сделать 5-минутный короткометражный фильм, но я столкнулся с множеством ограничений. Первая и главная проблема была в том, что я не смог заставить роботов сражаться. Изображений получилось много, но когда я начал их анимировать, я был разочарован, потому что не мог сделать так, чтобы они реально ударяли друг друга.
Затем я рассматривал возможность сделать так, чтобы персонажи разговаривали, но этот вариант мне не понравился из-за множества ограничений. Третья проблема — я не смог создать эффект выстрела пулей, поэтому пришлось использовать огнестрельное оружие. В изображениях можно получить отличные результаты с красивыми движениями и прочим, но когда начинаешь это анимировать, в некоторых случаях всё просто не работает.
Базовый рабочий процесс состоит в том, чтобы генерировать изображения с помощью промпта, а затем улучшать их через LeonardoAI Universal Upscaler, который даёт потрясающие результаты на картинках. Но при преобразовании их в видеo-анимацию качество сильно падает. В крупных планах это работает довольно хорошо, но в общих и мастер-кадрах иногда получается каша, и лица персонажей неразличимы.
Я пробовал использовать разные видеогенераторы, например RunwayML, но обнаружил, что там очень много цензуры, и я не смог анимировать драки из-за ограничений политики.
У меня была идея заставить Саманту говорить, но сделать POV-кадры с её перспективы было практически невозможно; иначе пришлось бы использовать стороннее ПО для VFX. В общемых планах, например заводских аэро-кадрах или крупных планах, это работает хорошо, но всё остальное требует серьёзных доработок и сталкивается с ограничениями. С нетерпением жду возможности попробовать SORA, но думаю, там будут такие же проблемы с персонажами: сложные движения, непрерывность, мимика, эмоции и разговоры.
В любом случае, LeonardoAI — отличный инструмент, и я определённо рекомендую использовать его и экспериментировать с ним.
Попробуйте другие ИИ для создания видео