休闲

「拖拽」就能实现精准P图的DragGAN,论文作者亲自揭秘技术了

字号+ 作者:Fabian Sharp网 来源:焦点 2025-02-24 11:36:46 我要评论(0)

在图像生陋习模,以 Stable Diffusion 为代表的散漫模子未然成为之后占有主导位置的范式。但散漫模子依赖迭代推理,尽管此措施可能实现具备重大目的的晃动磨炼,但推理历程需要高昂的合计老本。在

在图像生陋习模 ,拖拽图以 Stable Diffusion 为代表的现精散漫模子未然成为之后占有主导位置的范式 。但散漫模子依赖迭代推理 ,准P者亲自揭尽管此措施可能实现具备重大目的文作的晃动磨炼 ,但推理历程需要高昂的秘技合计老本 。

在 Stable Diffusion 以前 ,拖拽图天生坚持收集(GAN)是现精图像天生模子中罕用的根基架构。比照于散漫模子,准P者亲自揭GAN 经由单个前向传递天生图像 ,文作因此本性上是秘技更高效的 。但由于磨炼历程的拖拽图不晃动性 ,扩展 GAN 需要子细调解收集架谈判磨炼因素 。现精因此 ,准P者亲自揭GAN 措施很难扩展到颇为重大的文作数据集上 ,这是秘技 GAN 败落的原因之一。

之后 ,GAN 次若是经由手动诠释磨炼数据或者先验 3D 模子来保障其可控性 ,这个别缺少锐敏性 、精确性以及通用性 。可是,一些钻研者看重 GAN 在图像天生上的高效性 ,做出了良多改善 GAN 的试验。

其中 ,来自马克斯普朗克合计机迷信钻研所  、MIT CSAIL 以及google等机构的钻研者们提出了一种强盛的操作 GANs 的方式,即以用户交互的方式拖动图像的任何关键点以精确抵达目的点。

为了实现这一点 ,该钻研提出了 DragGAN ,它搜罗两个主要组成部份 :1)基于特色的行动把守,用于驱动关键点向目的位置挪移;2)一种新的点追踪措施  ,运用 GAN 的特色来定位关键点的位置 。

经由 DragGAN,任何人都可能精确操作像素的挪移位置来变形图像,从而操控种种空间属性 ,如植物 、汽车 、人类 、风物等的姿态 、形态、神色以及妄想。由于这些操控在 GAN 的天生图像流形上妨碍 ,因此 DragGAN 可能天生被遮挡的内容以及以及保障物体的形变适宜物体的妄想 。定性以及定量比力都表明 ,DragGAN 在图像操控以及点追踪使命上优于先前的措施 。此外 ,该钻研还揭示了经由 GAN 重修操控着实图像的例子。

为了让巨匠更好的清晰这一钻研 ,机械之心最新一期线上分享聘用到了 DragGAN 论文第一作者潘新钢 ,经由本次分享 ,巨匠可能更深入的清晰这一项钻研。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 湖人赢步行者内幕?跟浓眉哥关系不大?到底发生了什么?真相大白

    湖人赢步行者内幕?跟浓眉哥关系不大?到底发生了什么?真相大白

    2025-02-24 11:36

  • 法甲综合 | “大巴黎”主场溃败  马赛逆转获胜梦露死亡旧照:赤身俯卧在床,姿势古怪,44年后警方才公开她死因

    法甲综合 | “大巴黎”主场溃败 马赛逆转获胜梦露死亡旧照:赤身俯卧在床,姿势古怪,44年后警方才公开她死因

    2025-02-24 10:08

  • 大洗牌!下赛季面临重组的5支球队:勇士快船上榜 森林狼双塔失败美依礼芽被曝体重只有30公斤,看到她的坐姿,网友:一般人做不到

    大洗牌!下赛季面临重组的5支球队:勇士快船上榜 森林狼双塔失败美依礼芽被曝体重只有30公斤,看到她的坐姿,网友:一般人做不到

    2025-02-24 10:07

  • 五次德比以来的第一场胜利,墨尔本城新赛季三连胜我国的龙脉上葬了三个人,一个不敢挖,一个不能挖,另一个挖不开

    五次德比以来的第一场胜利,墨尔本城新赛季三连胜我国的龙脉上葬了三个人,一个不敢挖,一个不能挖,另一个挖不开

    2025-02-24 09:44

网友点评