首页 科技 正文

AI新海诚便是在下,不相信来玩

蜀味 只想说 凹非寺量子位 报导 | 微信公众号 QbitAI

那样的东京街景,是否有点儿日式实录日本动漫那类feel了?

如今,不用人们绘师一帧帧构画,将你拍下来的视頻来养AI,就能让现实世界一下子掉进二次元世界。

搭景:

特色美食:

乃至复仇联盟,也可以一瞬间摆脱电影宇宙和动漫漫画宇宙空间的界线。

此项科学研究名叫White-box-Cartoonization,来源于巨量引擎、东京大学和Style2Paints研究室。

毕业论文已收录与CVPR 2020

蓝盒可爱卡通表明

这般AI「法术」的重要,還是转化成对抗网络(GAN)。

而且,科学研究人员明确提出了三个蓝盒表明方式 ,各自用于表明光滑表面、构造和纹理。

表面表明:表明动漫图像的光洁表面。

应用导向性过滤器对图像开展解决,在维持图像边沿的另外光滑图像,除去图像的纹理和关键点信息内容。

构造表明:获得全局性构造信息内容和稀少图形。

最先应用felzenszwalb优化算法将图像切分成不一样的地区。

因为超清晰度优化算法只考虑到清晰度的相似度而忽视词义信息内容,科学研究人员进一步引进可选择性检索来合拼切分地区,获取稀少切分图。

此外,规范的超清晰度优化算法会使全局性饱和度减少,造成 图像发暗。

因此,科学研究人员明确提出了一种响应式上色优化算法,以提高图像饱和度,降低若隐若现实际效果。

随后,用预训炼的VGG16互联网获取制作器转化成的图像和提取的构造表明的高級特点,限定空间布局。

纹理表明:体现可爱卡通图像中的高频率纹理、轮廊和关键点。

科学研究人员明确提出了一种从色彩图像中获取多通道纹理表明的任意色调偏位优化算法,以保存高频率纹理,降低色彩和色度的危害。

全部GAN架构含有一个制作器G,及其2个辨别器Ds和Dt。在其中Ds致力于区别实体模型輸出的表面表明和真实的动漫图像。Dt用以区别实体模型輸出的纹理表明和真实的动漫图像。

实际来讲,制作器互联网是一个相近U-Net的全卷积网络。

科学研究人员应用 stride=2 的卷积层开展下采样,以双线性插值层做为上采样,以防止棋盘式伪影。

该互联网只由3种层构成:卷积层、Leaky ReLU(LReLU)和双线性调节层。这促使该互联网能轻轻松松置入到手机上等边沿机器设备中。

辨别器互联网则根据PatchGAN开展了调节,其最终一层为卷积层。

輸出特点图上的每一个清晰度相匹配键入图像中的一个图像块(patch),用以分辨图像块归属于真实的动漫图像還是转化成图像。

训炼数据层面,景色图像收集自新海诚、宫崎骏作品和细田守的动漫作品,人像图片图像则来源于京都动画公司和PA Works。电影都被剪接成帧并任意裁剪,尺寸为256×256。

试验結果

因此 ,这类图像卡通化方式 的实际效果到底怎样。

在定量分析试验中,科学研究人员发觉,AI获取的表明取得成功忽悠了训炼好的支持向量机。

与初始图像对比,支持向量机在三个获取的可爱卡通表明中准确度都较为低。

此外,测算出的FID指标值也显示信息,可爱卡通定性分析有利于变小真实的世界相片和可爱卡通图像中间的差别。

再看来一组形象化的比照。

△(f)-(g)为CartoonGAN

与以前的方式 对比,蓝盒架构能转化成更加清楚的界限轮廊,并有利于维持色彩的和睦。

例如,图上(f)-(g)所展现的CartoonGAN的一些设计风格就存有色彩失确实难题,而蓝盒架构色彩更加当然。

此外,蓝盒架构也合理地降低了伪影,实际效果跨越CartoonGAN。

网民:震撼

这般实际效果,让许多 网民大呼「震撼」,在reddit上做到了500 的关注度。

有网民表明,拥有那样的高科技,将来,也许只必须一个艺术创意,就能打造出一部好著作。销售市场的准入条件门坎将因而而减少。

也是有网民觉得,声优梗、装萌这类实际中不会有的界面,還是要靠影视动画人员的写作。但是,那样的AI未来毫无疑问能缓解影视动画人员的劳动量。

如今,科学研究人员还释放了线上Demo,假如你很感兴趣,能够亲身入门试一下~

最终,左侧源于人们的画笔工具,右侧是AI的手游大作,你pick哪一个?

GitHub详细地址:https://github.com/SystemErrorWang/White-box-Cartoonization

线上Demo:https://cartoonize-lkqov62dia-de.a.run.app/cartoonize

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.68nw.com/kj/1001.html