首页 科技 正文

你动、梦娜丽莎跟随一起动,OpenCV那么用,小表情嘴型作假难以防了

梅宁航 发自 凹非寺量子位 报道 | 公众号 QbitAI

有没有想过让蒙娜丽莎随着你的脸色动,来一番豪情亲切的互换?

Aliaksandr的一阶活动模子(First Order Motion Model)可以实现,然则实现历程异常复杂且繁琐。

一阶活动模子功能强大年夜,可以在未经预演习的数据集上对图象和视频进行特效生成,但价值是安装配置较量繁琐。

能不克不及简单一点,再简单一点?

印度一名轨范员阿南德·帕瓦拉(Anand Pawara)设计了基于OpenCV实现的实时动画特效。

究竟OpenCV是成名已久的跨平台视觉库,是事实上的较量争论机视觉范畴的标准库。

项目中触及的人脸辨认、动作辨认和活动跟踪,均在OpenCV库华夏生支持。

几天前,阿南德在GitHub上开源了完全代码,并给出实现具体历程。

走过途经,不要错过。

安装历程

1、安装依托模块

安装依托模块:

pipinstall-rrequirements.txt

安装pytorch 1.0.0 :

pip install torch===1.0.0 torchvision===0.2.1 -f https://download.pytorch.org/whl/cu100/torch_stable.html

2、下载配置文件(假如不克不及下载,文件链接在文末)

gdown —id 1wCzJP1XJNB04vEORZvPjNz6drkXm5AUK

3、运行轨范

运行文件 :

pythonimage_animation.py-ipath_to_input_file-cpath_to_checkpoint

针对摄像头的实时特效生成 :

python .\image_animation.py-i .\Inputs\Monalisa.png-c .\checkpoints\vox-cpk.pth.tarRunapplicationfromvideofile : pythonimage_animation.py-ipath_to_input_file-cpath_to_checkpoint-vpath_to_video_file

针对既有视频的特效生成 :

python .\image_animation.py-i .\Inputs\Monalisa.png-c .\checkpoints\vox-cpk.pth.tar-v .\video_input\test1.mp4

假如你想上手尝尝,只需要调剂相干配置文件即可。

模子分为两种利用模式,一种是较为常规的导入视频常规方式,别的一种就是实时生成视频特效。

然则,请留意,一定要利用pytorch 1.0.0版本,由于更高的版本在后端依托的一阶模子上存在问题。

遵照作者的后续企图,会推出客户端轨范,而且会增加假声(deepfake voice)功能。

存身OpenCV的优化

阿南德所做的工作是简化现有的一阶活动模子(First Order Motion Model),利用OpenCV对视频进行特效生成。

项目标后端支持由OpenCV库完成,避免利用复杂的模子,下降利用门坎。

遵照作者不雅点,利用这个模子只需要对一类数据集进行演习后,即可利用到对其所有事物上去,即具有较好的泛化能力。

分歧于原一阶模子的多个数据集测试后果,而今阿南德实时动态特效模子还只在人脸数据集上进行测试,后续后延续增加其他数据集。

这个模子的特点是易用,配置异常简单,根基可以开箱即用,即使是演习本身的数据集也会较量简单。

由于存身于对现有资本进行优化配置,操作简单单纯,功能强大年夜。

当然,简单也会带来问题,好比而今数据集较为单一,针对的首假如人脸数据集。

别的,对人脸的轮廓辨认后果还不那末使人合意,需要加以刷新。

作者简介

项目作者阿南德·帕瓦拉(Anand Pawara)是印度AvenDATA公司的一名深度进修工程师,现居孟买。

繁琐的工作主动化,大年夜幅度下降上手的难度。

完全实现历程毗邻鄙人面,假如有爱好,欢迎本身去尝尝哟~

参考链接:https://github.com/anandpawara/Real_Time_Image_Animationhttps://m.weibo.cn/1402400261/4508119667605445

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.68nw.com/kj/1070.html