查看原文
其他

我们用了60个小时,做了一部AI短片 - 全流程复盘拆解

数字生命卡兹克 数字生命卡兹克
2024-08-22
故事是这样的。
年前的时候,我和@JessyJang一起花了60个小时,用AI做了一个我们真正意义上的短片故事 -《The Last Goodbye》。
这是一个关于爱、死亡和克苏鲁,当然,还有希望的故事。
这60个小时,我们基本是属于没睡觉的,通宵连夜干,有很多痛苦,甚至快干成了半个尸体,但是痛苦的故事,结尾总是快乐的。
我也觉得有很多可以写下来的东西。
所以,那就写一篇文章,来记录一下吧。
这一切的源头,要从Runway的Gen48开始说起。
今年1月11号,Runway开启了第二届Gen48的报名,去年国庆期间的第一届Gen48错过了,所以这第二届,其实还是准备去玩玩的,主要,他送3w点数啊...3w啊...你就算不去比赛,那白嫖一下点数也挺好。。。

所以我跟Jessy就一拍即合,组队报了个名。

时间一眨眼,就来到了2月3号,北京时间晚上10点,Gen48正式启动。

题目很简单,给了3个类别,每个类别里面一堆元素,你自己自由组合,保证每个类别里,都有能用上的就行。

这个方法,其实就很“创意”,我们以前在做一些设计方面的创意训练的这时候,就会经常这么搞,你自己每个类别里去抽取元素,抽完了自己组合去想点子。

当时我们就把所有的元素都列了一个脑图,来组合看看,有什么可以借鉴参考的,毕竟...我们不是专业的编剧或者导演。还是需要一些借鉴,才能去完成我们的故事。

本身我们其实都非常喜欢“死亡”这个命题。

刘慈欣在《流浪地球》中有一个描述很有趣:

你在平原上走着走着,突然迎面遇到一堵墙,这墙向上无限高,向下无限深,向左无限远,向右无限远,这墙是什么?

"死亡。"

而在尼采的哲学中,死亡更不是终结,而是一种力量,一种促使个体超越现有自我,达到更高存在状态的动力。

永恒回归,简直就是对死亡最浪漫的诠释。

所以我们决定以很喜欢的孙熙然老师的《完美的死法》作为参考和基石,选用神秘的文件(死亡模拟实验记录)+一个孤独的守护者(人类最后没被古神异化的火种)+火山(火山死亡)这三点进行组合,去做我们的这个AI短片。

《The Last GoodBye》

经历了101次模拟死亡,一次次寻找完美的死法,直到最后,面临真正的死亡时,那宛如西西弗斯般的对生的不舍,直至带着信念重生的简单故事。

在定了方向之后,我们用了一晚上时间,用祖传excel拉了一个表,列了三幕的剧情,把大概的节奏、台词啥的都敲定了。

接下来,就开始正式的AI视频短片制作。

流程其实没啥可说的,定画风 - 定角色 - MJ V6画分镜 - Runway跑视频 -  做配音 - 找音效和音乐 - 剪映剪辑。

最开始的定画风,其实我们定的非常快,因为整个剧情都是偏科幻的,再加上我是小岛秀夫的死忠粉,所以我们只花了不到5分钟,就把画风定了:

《死亡搁浅》style

大概是这样使的:

有一些特殊的画风其实是可以用的MJ的-sref命令去定风格的,但是我们这个,prompt就可以直接写,固定后面的后缀,只改前缀画面就行:
________. death stranding style, surreal characters, muted colors, cinematic contour lighting, low contrast ProLog, award-winning composition, chromatic
画风很快就解决了,然后难题就来了,角色一致性。
毕竟这次是做一个正儿八经的AI短片,不是什么AI预告片,瞎特么换人都没事,人物不说一模一样,那肯定难。但至少得大差不差,不能变化太大,要不然出戏太严重。
MJ的角色一致性没等到,写一大堆prompt也没必要,SD炼lora那整体出图美感又达不到要求,最后,实在搞不定,想到了一个投机倒把偷鸡摸狗去定人物一致性的小技巧:
就是,写明星。
其实本身在做这个故事的时候,男主角的形象和声音在我脑海里就有一个完美的人选,《海边的曼彻斯特》的男主:卡西·阿弗莱克。
就是这哥们:
他在演《海边的曼彻斯特》的时候,那股子丧了吧唧的劲,还有那一股子累觉不爱的眼神,简直跟我想要的我们AI短片男主的劲,一模一样。
于是,我们就直接在prompt里写:Casey Affleck...在角色的一致性上,就能保持的还行...
这个技巧,纯属投机倒把,肯定是有侵权风险,所以不建议大家这么做,但是我们为了追求效果,也不为盈利,也特意挑选了一些不是特别像的...所以...还是说声抱歉。
接下来,就是Roll分镜图了。
那两天我跟Jessy的聊天记录里,出现频率最高的两个词,就是:
"不行"和"傻逼"
MJ V6更新了以后,对于语义理解能力虽然已经有了很大的加强,但是,依然,不敢重用。
我们其中有一个片段,是过去死亡记录的闪回。
最初的预想,是上吊、注射、淹死、开枪等等。
但是这几个死法就....

还有一个镜头,是我希望在地下研究室,有男主和她老婆的相片,放在电脑旁边...然后...改了无数种Prompt,后面放弃了。
还有从火山口往下跳的镜头(鬼知道特么的roll了多少张才有正常的姿势)...

这些是完全搞不定,只能用别的方式或者走意识流去替代掉了。
而更多的一些分镜是,Roll出来了,总是还有点不满意的小问题,比如人脸窄了一些,比如电脑屏幕上有脏东西,比如多了个人等等问题,重绘还是需要抽卡,烦了。
所以我们决定,对很多的效果,直接上最原始的手段:
PS。
出了一张图,差不多能用,有些小细节有问题,直接扔到PS里手动处理一下,几分钟就完事了,甚至比如多了个人多了个物体这种细节,10秒搞定...
重绘...重绘个屁。怎么有效率怎么来。
我们是一边做图,一边roll视频的,大部分的镜头,其实都是一些常规运动或者运镜。
只有一些我有非常明确想要的效果的镜头,会上分层运动笔刷去控制。PS:多运动笔刷组合,真的很好用。
比如这个手从火山岩上擦过的动画。
比如这个植物生成的动画,就是用不同的笔刷刷了不同的叶子
这个Delete模拟删除黑屏的动画,则是roll了二十多条,硬Roll出来的。
整体其实没啥好说的,比如Image2Video目前控制力的上限也就在这了,都是非常常规的做法。
纯体力活。
配音的话,因为我们做的是英文对话,所以男主是直接扒了《海边的曼彻斯特》里Casey Affleck的5分钟的台词,机器人的声音是用了《流浪地球》里MOSS的声音,扔到11Labs里跑了个克隆。

11Labs其实整体还是抽卡,单句单句的抽,尽量不要一次性把所有句子都扔进去,抽到一条情绪不错的,再抽下一条。(PS:不要用11Labs跑中文,稀烂,中文请去用魔音工坊吧)
再后面,就是音效和配乐了。
这块就怎么说呢,音效都好弄,去网上下载无版权的或者直接剪映里面找,配乐也是,这次runway给了音乐库,如果没给的话,我一般都是去https://pixabay.com/里面找无版权的音乐。
而且因为我本质上,是一个非专业的选手,所以其实很多时候得跟着音乐的情绪去安排镜头节奏和剪辑,会跟专业的选手反过来。
专业选手是安排好画面以后,再去做配乐,我这种野路子,是找到大概符合感觉的音乐后,再去做对应情绪的画面排布,如果时长不够,那就补镜头,如果音乐时长超了,那就剪音乐。
比如这首配乐,是我听完后,直接就产生就是它的感觉,最后的高潮,必须用它:
感觉一切好像都差不多后,我们却遇到了最大的问题:
时间,完全不够。
从2月3号晚上10点,到2月5号晚上10点,48个小时,我们两个几乎就没睡觉。
但还是远远低估了,我们故事的工作量。
到了2月5号晚上9点,要交片的时候。
第一幕做的还行,第二幕就开始赶工,第三幕,根本就不能看。而且,甚至我自己,到了后面两幕,都根本看不懂这个故事。
本身这个概念,还有AI视频这种形式,就已经足够意识流了。
要是连故事都特么看不懂的话,那观感,基本等于一坨屎。
在沉默了整整20分钟之后。
我们做了一个艰难的决定:这个比赛,不参加了。我们好好再花一些时间,做完。
做一个我们觉得满意的好片子,比交一个垃圾玩意去参赛,我们觉得,更重要。
于是我们又花了将近20个小时,从头顺了一遍故事,补了N多台词和镜头,重新剪了N遍。
完成了这个3分33秒(强迫症附体)的故事。
都是泪。
里面,也致敬了很多很多我们喜欢的梗。
比如男主的名字叫欧文,是致敬很喜欢的电影《一个叫欧维的男人决定去死》
比如男主的形象和声音,是致敬《海边的曼彻斯特》
比如模拟死亡完美死法这个概念,是致敬《完美的死法》
比如冥滩这个概念,是致敬《死亡搁浅》
比如现实稳定锚,则是致敬我最喜欢的克苏鲁和SCP基金会。
比如机器人AI MOSS的设定,是致敬我最喜欢的对我影响最大的《流浪地球》
比如最后的字幕,是致敬《万物理论》
比如我写的简介,是致敬我最喜欢的短片集《爱,死亡,机器人》
...
热爱,方能抵御漫长岁月。
做完片子的那一刻,我真的长舒了一口气。
有些事,不是为了流量,也不是为了所谓的名次,而是只想做一个自己满意的作品。
那种感觉,真好啊。
AI,也真好啊。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章。
修改于
继续滑动看下一个
数字生命卡兹克
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存