一部非影视专业人士制作的 AI 作品,如何和普通短片同台竞技后脱颖而出?

2023 年 2 月,游戏行业程序员 Jim 成为了一名 AI 艺术家。

2024 年 12 月,Jim 的 AI 动画短片《鬼饮食》,获得了 Independent Shorts Awards 的最佳动画短片金奖。

这是一个在独立电影界有影响力的国际短片电影节,不是专为 AI 作品而设,所以对 Jim 来说意义非凡,「能让评委忽略 AI 标签,关注故事本身,这让我感到欣慰」。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

《鬼饮食》海报

《鬼饮食》由 Jim 一人承担大部分创作,片长 10 分钟,总共 242 个镜头,耗时近三个月,工时至少 200 小时,平均到每天,是 2 个多小时。

历时 90 天的创作,Jim 像是在和 AI 斗智斗勇,逼近 AI 的极限,规避 AI 的限制。当网友看了《鬼饮食》后感叹「AI 已经上岗动画了」,Jim 回答:「是 AI 被创作者驱赶着做动画了。」

3 个月,10 分钟

《鬼饮食》是一部黑色犯罪片,这是好莱坞上世纪的重要流派,同时,它的故事又是本土化的,「鬼饮食」一词来自西南地区,指凌晨时分依旧在街头开放的小食摊。

主角徐夏,就是一个深夜在街边吃饭的年轻人。为了给父亲看病,他不得不做出不义的选择,但他也保留不可触碰的底线。最终,他卷入暴力和谋杀,被命运之手所困。

《鬼饮食》全片

比起「AI 动画」,用「AI 工具制作的动画」形容《鬼饮食》,可能更为贴切。

AI 负责生成画面,剩下的事情,剧本、剪辑、配音、音乐、音效等,都是人工。画面里的文字,也是后期加上去的。

单论画面,Jim 是「纯 AI 生成的流派」,《鬼饮食》没有任何实拍转绘,主要靠图生视频,图片由 Midjourney 生成,视频由可灵、Pika、即梦、PixVerse、Runway 生成。

AI 生成,具有不确定性,但用 AI 讲连贯的故事,又必须做到稳定。从设计角色开始,Jim 就在考虑,如何实现人物的一致性。

设计角色,Jim 有两个原则。一是,整体形象简洁,用几个关键词就可以形容长相。二是,具备标志性的元素,哪怕前后做不到完全一致,但辨识度高,观众也能一眼认出。

最有代表性的是万哥和李佳佳,万哥光头,穿运动服,戴墨镜,李佳佳像 90 年代的复古女郎,红衣,大波浪头发。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

《鬼饮食》万哥

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

《鬼饮食》李佳佳

看起来斯斯文文的朱总,戴眼镜,穿西装,不长胡子,似乎没有任何一个异于常人的特征,是 Jim 迭代了最多次的角色。

Jim 发现,AI 容易生成「old money」(老钱)气质的人物,朱总这种有钱但不精英、危险但不算黑社会大佬的个体企业家,AI 反倒很难拿捏尺度。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

《鬼饮食》朱总

「真人电影,但用了一个动画滤镜」,Jim 这样形容自己的动画风格。观众可以想象,如果是真人来演,会是什么模样。

每个角色用文生图的方式确定下来后,就相当有了电影的定妆照。然后,Jim 再用这些图片作为素材,通过垫图和写提示词生成更多图片,角度和场景不同,但人物不变。

有了足够的图片,便可以生成视频了。AI 视频们迭代得很快,《鬼饮食》使用的,是 2024 年 8 月到 9 月的版本。

技术难度较高的镜头,但凡能用到的视频工具,Jim 都会试试。同时,每个工具也有各自擅长的部分。即梦、可灵和 Pika,占了使用率的前三。

当时,即梦擅长处理一些动作镜头,Pika 擅长场景镜头以及简单的说话动画,可灵的综合能力较强,大部分的镜头没有问题,但在特定情况下,可能画蛇添足。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

《鬼饮食》说话片段

不过,《鬼饮食》的很多镜头,哪怕用现在的工具,也还是很难实现。呈现出相对自然的结果,离不开传统的办法。

比如对口型,当人物不是完全的正面,也不是 AI 容易识别的特写镜头,动作、表情、镜头都在移动,就需要配音老师根据视频的口型配音。在 Jim 看来,新的功能不等于好用,旧的方式「可能笨一点,但是它靠谱」。

小众的,多样的

《鬼饮食》的故事发生在西南县城,角色都在讲四川话,用乡音,这是 Jim 的私心。《鬼饮食》的画风也很独特,看过的网友说,像某一集的《爱,死亡和机器人》。

在本职的游戏行业,Jim 看过太多同质化的、被验证过的内容。

基于 AI 的创作,却可以是个人化的。质量上乘的作品,仍然需要大公司们投入大量资源,但制作「一个基本的作品」,Jim 看到了更多的可能。

从玩 Midjourney 开始,Jim 就明确,不想做「泛大众化」的风格。他是 Midjourney 的重度用户,很了解 AI 容易生成的风格。同时,这些也是他的雷区。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

Jim 用 AI 生成的 Y2K 风格

他喜欢的风格是,无法一眼看出是什么流派,有种复古感,但又不是完全的老式动画,总之,「既熟悉又新颖」。

《鬼饮食》的画风,Jim 参考了动画导演汤浅政明和漫画家柘植义春。

他先用 Midjourney 的 Describe 功能,了解他们风格的关键词,然后不断地写提示词,反复迭代,尝试生成符合要求的图片。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

《鬼饮食》剧照

《鬼饮食》的世界观,则大部分源于 Jim 所熟悉的地域和元素。

2019 年,Jim 看了刁亦男导演、胡歌主演的《南方车站的聚会》,深受震撼,「非常接地气的设定,审美和内核却非常黑色电影」。他意识到,传统的类型片并没有定型,在本土叙事之上,还存在全新的生命力。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

《鬼饮食》的主角,参考了胡歌的造型

2021 年,Jim 开始创作剧本,笔下基本有了《鬼饮食》的雏形,包括了一个小县城、一个绝望的青年、一个人生的困境。

2023 年,Jim 开始使用 Midjourney,学习 AI 概念美术。

然而,在 2024 年之前,Jim 都没有想过,真正地做出 AI 影片。他自学了摄影、剧本、镜头语言,却也止步于此。视频用镜头讲故事,但他还无法创造自己设定下的镜头。

2024 年年初,Jim 用上了 Pika 等一批最早的 AI 视频,他突然发现,终于可以驱动画面完成动作,调整和修改画面,把画面连在一起,完成一个短片。创作的欲望,变得空前强烈。

素材有了,然后就是剪辑、音效、配音、配乐,Jim 越来越深入一个影片的传统制作流程。他一边尝试,一边学习,渐渐在 B 站上传了一些风格化的、个人特色突出的作品。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

《硬波普枪手》截图

Jim 的另一部 AI 短片《硬波普枪手》,参考了老式美漫的风格,借鉴了默片的形式,后来在 1905 电影网、B 站等平台发起的 AI 影像征集大赛中,获得创想赛道的优秀奖。

AI 还颠覆不了很多行业重资产的现状,但对于小团队和个人创作者来说,创作的成本变得可接受,多样化的内容有了被观众看到的机会。

为《鬼饮食》设定了川渝背景,Jim 说自己多少有些「刻意」。他在证明,创造一些小众的内容时,已经不用太担心「风险太大」这种传统的声音。

被限制的,也可以是独特的

10 分钟的《鬼饮食》,放在 B 站可能不算长视频。但在 AI 圈子里,10 分钟是一个很难得的时长,更别说,《鬼饮食》讲了一个完整的故事。

为了完成这 10 分钟,Jim 差不多把自己和 AI 都逼到了极限。

《鬼饮食》火锅店的动作戏,费了 Jim 很多心思,每个镜头都有设计,但最终效果只呈现了不到 40%。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

《鬼饮食》打戏片段

Jim 承认,AI 的打戏确实不行,没有击打感,也不符合物理的逻辑,像是对着空气打。不光是打戏,稍微动作大一些的镜头,掐脖子,扔锤子,拿石头砸,AI 都很难实现。

按照 Jim 的经验,如果非要给 AI 设计动作戏,别用冷兵器,而是用枪械,至少 AI 能开枪,他自己也用上了这个技巧,「在此感谢老香港电影的拯救」。

真人演员打戏不好,还能让替身上场,但生动的表情,是演员的基本功。然而,这也是 AI 的薄弱项,要么用力过猛,要么面无表情。

2024 年 10 月,Runway 推出了 Act-One 功能,基于真人的表演视频,驱动 AI 角色做出相同的表情。Jim 觉得这是一个迹象,如果越来越多的产品推出类似的功能,说明 AI 在表演方面确实有瓶颈。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

Runway Act-One

《鬼饮食》里的人物经常以特写和半身出现,隐藏着 AI 的又一个弱点:多主体镜头。Jim 在设计镜头时,尽量避开了多人镜头,因为他还没有找到很好的解决方法。

哪怕只是在 Midjourney 生成图片,生成的人物超过 2 个,脸部就很可能出现问题。再放到 AI 视频里互动,场面就更加混乱。

AI 生成的画面限制重重,所以在后期,Jim 会用特写镜头、象征镜头、快速剪辑等手法,弥补视觉上的不足,《鬼饮食》里反复出现的动物形象,就是一个例子。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

《鬼饮食》截图

隐喻和象征手法,在一些美国老式黑色电影也常用,在上世纪四五十年代,技术不足,《海斯法典》等法规又限制了暴力画面的表达,情况和 2024 年的 AI 视频有些类似。

时隔几十年的前后呼应,让 Jim 觉得很有意思,「可能有点过时的方法,放到 AI 电影里面,反而很好用」。

但观众是诚实的,会给出「串起来的流畅 PPT」「加强版动态漫」之类的评价。Jim 表示接受,这也是他选择制作 AI 动画的原因。

比起皮肤光滑、动作诡异的真人风格,动画至少「不会让观众一下子觉得,哇,你这东西太假了」。人物的动作稍显呆板和生硬,放在不基于现实的动画里,更容易被接受。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

Independent Shorts Awards 获奖证书

不盲目追求长度,先保证质量,某种程度上是因为,Jim 对标的是普通影片。他报名参加非 AI 竞赛 Independent Shorts Awards,也是为了让评委忽略 AI 标签,关注故事本身。

Jim 希望,看他的作品时,观众可以意识到有 AI 的存在,但不是冲着 AI 来,不在 AI 影片的评价体系里表演宽容,「AI 社区太友好了,听到一些刺耳的话,是很有必要的」。

坚持创作,打败焦虑

AI 新闻里总写「一夜变天」,创作一部短片花了 3 个月,已经是一段很漫长的时间。

AI 每天都在进步,2023 年时,Jim 还能跟上每天的 AI 信息,但从 2024 年初开始,掌握热点就不再可能了。他也会焦虑,但又不是像很多人那样盲目焦虑。

技术固然强大,但还有很多工作,是要人类自己做的。创作困难和有意思的地方都在于,有些问题必须创作者本人解决。

《南方车站的聚会》里,有一场让 Jim 印象非常深刻的枪战戏:大家在跳广场舞,便衣警察穿着会发光的鞋,罪犯在开枪,警察踩着发光的血追赶,然后也在开枪。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

《南方车站的聚会》剧照

又紧张又戏谑的反差感打动了 Jim,如果没有这场戏,大家想到广场舞,第一反应就是「土」。

他相信,很多时候,大众熟悉的元素并没有过时,而是缺少创作者深入的挖掘。

反之,已经被旧的工具精心表达的事物,也未必会被新的技术淘汰。

AI 视频已经更新了很多版本,但 Jim 并不打算重制以前的 AI 短片。

整个短片的设计和妥协,都建立在当时 AI 的限制之上,自成一体。时隔几年再看,也仍然有好玩的地方,才是作品的价值所在。

AI 可以帮助 Jim 完成更多类似的实验,重新思考一些有意思的事物。他不喜欢让 AI 直接告知答案,他喜欢自己解题,把 AI 作为一个类似计算器的工具。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

《鬼饮食》剧照

比起用 AI 生成广告片、MV,Jim 仍然更想用 AI 讲故事,对他来说,「重叙事是影片创作的初衷」。

前几年,Jim 自学写剧本的时候,除了看书,也坚持实践,把剧本写出来,并且写完整,「不写完,意义就不大」。

同时,他会看很多电影,不断看新的电影,整理其中有趣的镜头,也看他人的讲解和拉片,他说自己「不算有扎实的功底」,但对图像的敏感度比较高,擅长把类似的物体联系起来,更懂怎么用镜头语言精准传达情绪和感觉。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

《鬼饮食》朱总经常吃的鱼头火锅,灵感来自于《火锅英雄》让鱼贩把鱼头去掉的讨债大哥,体现人设的凶狠

现在,Jim 正在休整自己,计划做些 AI 创作分享,酝酿下一个 AI 项目,并且补补课,跟进每个 AI 视频工具的最新情况。在他看来,AI 工具再多,每个人可以投入的资源是等量的,也是不可省略的。数量没有意义,更重要的是找到适合自己的路。

Jim 的 B 站评论区里,一位网友这样描述自己的观看体验:「没灵魂的工具,有灵魂的创作。」他回复:「这句话太有分量了。」

对抗焦虑的最好方式,是创作。未来,AI 还能做些什么,把谁替代,Jim 不想假设,他更愿意相信,在自己的手中,不断诞生新的作品,就是一个人坚固的壁垒 。

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网

程序员出身的 AI 短片导演,用三个月拿下国际电影节的金奖 | AI 新职人-风君歌曲歌词大全网