继AI生成二次元头像之后新一代线稿上色A

继AI生成二次元头像之后，新一代线稿上色AI来袭

AI科技评论按：本文作者一秒一喵，原文载于其知乎主页，(公众号：) AI科技评论获其授权发布。

预览视频：

视频链接（）

项目主页：

lllyasviel/style2paints（）

这里做一个简单的示范，为了防止线稿的主观挑选，我先贴一下现在的时间：

amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;129amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;45amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;content_imageamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;129amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;

然后就在这个时间，我上谷歌图片搜索关键词“Anime Sketch”（动漫线稿），结果在这里：

amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;847amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;406amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;847amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;

然后我直接下载第一个结果，不含挑选的成分，这个图片下载下来是这样的：

amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;723amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;1000amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;723amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;

然后我们的AI需要用户输入一些风格图片，不限制内容，只要颜色比较好看，色域比较宽泛即可。我在桌面上新建了一个文件夹，里面从我的个人收藏中随便选了9张色彩各不相同的图片给AI参考，截个图：

amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;844amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;683amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;844amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;

然后我直接把这九个图片和上面那个线稿丢到AI里面，一共点击9次上传按钮，9次上色按钮，大约10分钟后，我有了9张线稿的不同色彩构图。

amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;704amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;704amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;704amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;704amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;704amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;704amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;704amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;704amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;704amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;

这九个结果和我上面那个文件夹里面的九个参照图片一一对应，有兴趣可以来回翻看。看看AI迁移了哪些信息。

因为是在知乎上面发帖子，所以这里多说一些学术上的突破，具体效果在上面那个视频里面，请一定要看视频，看视频，看视频。

1. 我们成功实现了基于语义信息迁移的颜色提示，这个技术使得上色的色彩变得很和谐。这个技术最早是2017年1月左右早稻田和UCB都有相关研究的一个应用于黑白照片上色的trick。但是anime线稿上色是非常非常严酷的挑战，很多机构都有所尝试，包括今年六月的DWANGO（niconico的母公司）,东大在内的一些机构都尝试了迁移式上色，但是都停留在了从结果里面精挑细选的程度，并不能直接运用起来。我们实验室研究了很久尝试了几乎全部生成模型，最后终于组织了一种可以驾驭这个训练的对抗游戏，具体的内容会在后续的论文里面详细说明。

2. 基于语义信息迁移的颜色提示对于anime线稿上色有很重要的意义。一方面解决了“用户的提示越多，结果越难看”以及“我调了半天结果还没有一开始的结果好看”的问题，另一方面大大提高了产率。目前我们可以做到在短时间内针对同一个线稿生成大量各不相同的，合理的色彩构图，这将有利于那些把神经络作为一个构图工具或者颜色草稿的画师。详情可以看上面那个视频。

3. 我们的正式APP会在一段时间后（由于我们比较穷租不起超级贵超级贵的GPU服务器，可能是一段很长的时间后）上线

，但是如果你是reseacher，你可以直接在我们的项目主页里面获取代码来一睹为快。另外我们还有扩大数据集的计划，所以商业APP可能需要等待了。但是这仅仅是财政问题，我们的学术代码，模型等资料完全公开，如果你有兴趣赞助或者你有GPU服务器空闲准备低价外租，请务必联系我们，加视屏最后的那个群就好了。

4. 如果您在看完视屏或者了解了我们的项目之后立刻就想要获得paper，有一篇paper介绍了我们在今年6月份之前的所有技术，收录在ACPR2017，详情可以到github上面找到。但我们更希望向外界介绍一些近期的新研究发现，新的论文成文后会发到github上面。论文：Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN；地址：

5. 我们有自信认为我们是目前是所有开源的anime上色模型里面的非常优异的（paintschainer已经闭源了模型数据；传统方案不在我们的比较范围内）。并且我们认为我们最新的模型对于paintschainer的最新模型也是可以一比的，尤其是我们在迁移顺利的时候效果是比以前的模型有很大提升的。

-------------------第二天来更新-------------------

赞超过两百了，谢谢大家的赞，我再发一点我今天的画作吧。

首先这是找到的线稿：

amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;600amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;945amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;600amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;540amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;960amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;540amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;900amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;1150amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;900amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;

这是我用到的风格图：

amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;462amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;118amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;462amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;

这是结果：

amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;832amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;832amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;896amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;640amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;amp;amp;amp;amp;amp;lt;img src=amp;amp;amp;amp;amp;quot; data-rawwidth=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-rawheight=amp;amp;amp;amp;amp;quot;640amp;amp;amp;amp;amp;quot; class=amp;amp;amp;amp;amp;quot;origin_image zh-lightbox-thumbamp;amp;amp;amp;amp;quot; width=amp;amp;amp;amp;amp;quot;512amp;amp;amp;amp;amp;quot; data-original=amp;amp;amp;amp;amp;quot; _src=amp;amp;amp;amp;amp;quot;

评论里面有问起当输入或者输出非常复杂的情况会怎么样，情况是这样的，随着线稿和风格图变得复杂，成功上色的概率会逐渐降低，如果线稿或者风格图片复杂到人眼都看不清那里是脸哪里是手，就会非常难以上色，我们的github里面有一个issue就是专门针对上色失败问题的，等程序上线之后，您也可以帮助我们收集，来改善我们的模型。

-------------------第三天来更新-------------------

说一点技术上的事情：

不知道是什么时候开始的，关于图像处理出现了一个套路，就是用ResNet堆砌络深度，然后就可以量产出论文，最近有很多类似的文章。我们的模型里面没有ResBlock。我们使用的是特别适合线稿上色的，一种变种Inception。

版权文章，未经授权禁止转载。详情见转载须知。