ControlNet作者新项目爆火：仅一张图生成25秒绘画全过程

aaron 2024年07月13日 07:27 13 0

　　据GitHub主页上的介绍，Paints-Undo的命名有“其绘制过程就像是在绘画软件中多次按下撤消（Undo）按钮”之意。

　　该项目包含一系列模型，展示了各种人类绘画行为，比如素描、勾线、上色、阴影、变形、左右翻转、调整色彩曲线、改变图层透明度，甚至在绘画过程中改变整体想法等等。

　　多帧模型输入为两张图片，输出是这两张图片之间的16帧中间帧，其结果比单帧模型更加一致，但也更慢，创造性较低。

　　首先使用单帧模型获取5-7个“关键帧”，然后使用多帧模型来“插值”这些关键帧，最终生成一个相对较长的视频。理论上甚至可以生成无限长的视频，但在开发测试中帧数为100-500时，结果较好。

　　介绍中还提到，项目测试是在24GB显存的Nvidia 4090和3090TI上进行。理论上说，16GB的显存应该也够用，但8GB就不行了，最少需要大概10到12.5GB的显存。