首页 科技 正文

你的二次元老婆,被AI变成了暗黑系

鱼羊 萧箫 发自 凹非寺量子位 报道 | 公众号 QbitAI

而今,AI对光影的理解愈来愈深切了。

不但能主动给二次元萌妹的线稿上色,绘制出合理的光影转变。

反向操作,提取图片中的纹理和光影也不在话下。

大师级作品、或是摄影海报,只需要拿过来「扫描」一下,就可以分化出纯色层、阴影层和反射层。

这下,想要调剂图片的纹理和光影,不再用苦末路没有psd、图层被合并了。

这只全新AI的一作,照样那位打造了火遍二次元圈的主动线稿上色AI Style2Paints 的Lvmin Zhang小哥。

论文已中了ECCV 2020 Spotlight。

抠失落多余的像素

分化图象最需要解决的问题,就是图象光滑,它能让图象变得更恍惚,但与此同时,调理光影、纹理也变得更轻易。

而图象光滑的焦点问题,可以被理解成估计图象中的像素是不是被需要。

图象光滑

换种说法,图象光滑要解决的最大年夜问题,是在图象去噪和外不雅保存这两者之间,找一个均衡点。

也就是说,与锐化相反,光滑既要最洪程度上保存图象的素质,又希望能消弭图象的噪音。

下图就是颠末光滑措置的一张图象。可以看见,即使光滑措置后的图象变得恍惚不清,我们模糊能辨认出这是一片海。

那末,光滑图象事实有甚么用?

看,调理色温利便多了,让图中的天和海从蓝变绿再变紫,看起来都不是问题。

别的,图象光滑也是图象措置中纹理去除、材料措置、从头着色、层提取等操作的根基措置步调。

那末,若何让一个AI实现图象光滑呢?

研究者发现,对图象中物体的部非分稀奇不雅进行「擦除」(手动消弭部分噪声),恍如能给图象光滑带来更好的后果。

假如你是一个PS大年夜神,那末,选择图象中该擦除的部位一定不是难事。

然则,AI它其实不会PS…这就需要报酬制定一些「划定礼貌」,示知AI,哪些像素应当被擦除。

这里又回到了开首提到的,图象光滑的素质:在图象去噪和外不雅保存两者之间,找寻一个均衡点。

说白了,就是估计图象中哪些像素是需要的,哪些是可以被「擦除」的。

作者将这一步调称之为擦除外不雅保存(Erasing Appearance Preservation ,EAP)。

这里就触及到一个像素选择的算法,作者建造了一个0-1背包,将它解决了。

0-1背包问题

这个问题在像素中的场景描写以下:若何选择这个位置的像素值,使图象光滑后果最好?

把这个位置比作一个背包(knapsack),像素值就是填入背包中的选项。而最好的像素值,就是能刚好填满背包的最优解。

以下图,用最快的速度,较量争论哪些部分的像素是必需保存的,能最洪程度上还原图象特点。

但假如让较量争论机用穷举法列举出算法,效率就会很慢。

0-1背包问题,旨在用最少的步调,列出每步的最优解,其实不休与新后果进行比较。

这个算法的焦点思惟在于,子问题的最优解,一样可以用于解决母问题。

如许,既能保存图象的纹理布局,又能让图象最洪程度上恍惚化。

归根结底,0-1背包的思惟在于,一个像素值的最优解,一样可以被用于解决像素块最优解的问题。

这个算法,比暴力堆叠算力,穷举像素最优解的方式快多了。

假如用伪代码简单显现的话,算法的步调是如许的:

这一算法基于Matlab实现。作者透露显露,由于Python的稀少优化较量捉急,今朝没能把EAP迁徙到Python中。

与人类程度相当

研究人员将L0和L1两种光滑体式格局的后果,与专业人士的措置后果进行了较量。

后果显示,在擦除位置的选择上,AI的操作与专家的选择类似,而且光滑后果与专家的措置后果显露相当。

而消融尝试的后果显示:

(1)在本来的L1光滑中利用极端lambda(10.0),不利用EAP,这会致使图象布局被破损。

(2)重复原L1光滑多次(10次,与EAP配置不异),不利用EAP,这会致使低饱和度和低比较度伪影呈现。

(3)在EAP方案中,不利用背包权重wp,而是给背包的值设定一个固定的阈值(0.1),所有高于这个阈值的像素城市被视作擦除位置。这会致使图象被紧缩成少数几种色彩。

(4)在EAP方案中,用常数(1.0)取代所有背包权重wp。这将致使所有不想要的图案仍在究竟后果中被保存。

(5)在EAP方案中,不利用knapsak值vp,而是给背包的权重设定一个固定的阈值(0.1),所有低于这个阈值的像素城市被视作擦除位置。这会致使图象中所有明明的构件都被消弭。

(6)在EAP方案中,用常数(1.0)取代所有背包值vp。这使得突出的构件得以保存,但本来的布局会被破损。

(7)本文中提出的解决方案,可以或许在不造成其他伪影的环境下,使图象充分光滑。

别的,利用PSNR(峰值信噪比)指标,对几种分歧的光滑方式进行比较。后果剖明,基于EAP的方式PSNR值明明高于其他方式,也就是说,实现了更完全的纹理分化。

利用处景

看到如许的AI能力,你想到要在哪些场景中利用它了吗?

作者也举了几个例子。

好比,轻松实现纹理替换。

好比,给图片调光影、调色彩。

或……让老婆变暗黑(雾)。

就有网友透露显露:这不就是我一向想要的那种AI嘛!

也有网友联想到了火爆二次元圈的那只上色AI Style2Paints。

鹅妹子嘤,所以这项手艺会用到Style2Paints V5中吗?

今朝,这项研究的代码已开源,假如感爱好,就试一试吧~

GitHub地址:https://github.com/lllyasviel/AppearanceEraser

项目地址:https://lllyasviel.github.io/AppearanceEraser/

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.68nw.com/kj/1178.html