86

英伟达从图像中抽象出概念再生成新的图像,网友:人类幼崽这个技能AI终于学

a_632022-08-15 09:31:35   来源:IT之家  阅读量:17980   

2岁的人类幼崽能做什么,AI居然会学。

直到现在,这个终于被科学家攻克了!

有网友评价:很爽这可能是我最近几个月看到的最好的项目了

它是如何工作的。

我们先来看几个例子。

当你上传3张不同角度的陶瓷猫照片时,你可能会得到以下4张新图像:两只在船上钓鱼的陶瓷猫,陶瓷猫书包,班克斯的艺术风格猫和陶瓷猫主题饭盒。

同样的例子是艺术品:

装甲:

碗:

AI不仅可以从图像中提取物体,还可以生成具有特定风格的新图像比如如下图,AI提取了输入图像的绘画风格,生成了一系列这种风格的新绘画

更神奇的是,它还可以将两组输入的图像进行组合,提取一组图像中的物体,然后提取另一组的图像风格,将两者组合生成一幅全新的图像。

除此之外,通过这个功能,你还可以启动一些经典的图像,给它们添加一些新元素。

那么,如此神奇的功能背后是什么原理呢。

虽然近两年来,大规模的文本—图像模型,如DALL,CLIP,GLIDE等,已经被证明有很强的自然语言推理能力

但有一点:如果用户提出一些具体的要求,比如生成一张新的包含我最喜欢的童年玩具的照片,或者把孩子的涂鸦变成一件艺术品,这些大规模的模型是很难做到的。

为了应对这一挑战,提出了一种固定的,预训练的文本图像模型和一小组描述概念的图像目标是从这个小集合中找到一个单词来嵌入和重建图像因为这种嵌入是通过优化过程发现的,所以称为文本倒置

具体来说,就是先把用户输入的图像中的物体或样式抽象出来,转换成伪词s此时,这个伪词可以被视为任何其他词

S在沙滩上的照片,挂在墙上的S的油画,画一个S2风格的S1。

值得注意的是,这项研究使用了小规模,有计划的数据集,因此在生成图像时可以有效避免刻板印象。

比如下图,当提示医生时,其他模型倾向于生成白人和男性的图像,而该模型生成的图像中增加了女性和其他种族的数量。

目前这个项目的代码和数据已经开源,有兴趣的伙伴可以关注一下。

参考链接:

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

推荐阅读
坚守金融服务初心,坚持保险为民底色——泰康“金融消费者权益保护教育宣传月
财富

坚持政治性、人民性是金融工作的初心和使命。作为国内保险行业的领军企业之一,泰康保险集团将落实国家关于金融工作的本质要求作为第一要务,以金融为民、消保至上为题,启...

2023-09-28

《坎巴拉太空计划2》游戏被曝无休止填写Windows注册表,官方将进行修
财富

,太空模拟游戏续作《坎巴拉太空计划2》于2023年初推出了PC抢先体验版。然而,该游戏被发现搞乱了玩家的Windows注册表。 根据游戏官方论坛及其Steam...

2023-09-28

2023雨果奖提名作《赛博朋克2077:夜城迷梦》中文版漫画46元预售,
财富

,科幻世界杂志宣布,2023雨果奖提名作《赛博朋克2077:夜城迷梦》推出中文版漫画,现已开启预售,售价46元。 该漫画由CDPROJEKTRED与黑马漫画授...

2023-09-27

中信建投期货走进大、中、小学开展金融消费者宣传日活动
财富

9月26日,是2023年“金融消费者权益保护教育宣传月”集中教育宣传日,为进一步贯彻落实“投资者教育纳入国民教育体系”要求,推动金融知识进校园,提升青少年金融素...

2023-09-27

促消费、惠民生中信银行推出长假消费系列惠民举措
财富

中秋、国庆假期临近,火热的消费需求已经初露端倪。数据显示,从9月13日至20日18时,铁路部门已发售超过1.46亿张火车票;各旅游平台的景区、酒店等相关预订量也...

2023-09-27

新疆最大抽水蓄能电站开建
财富

记者从新疆维吾尔自治区发改委获悉,新疆若羌抽水蓄能电站9月25日在新疆巴音郭楞蒙古自治州若羌县开工,标志着新疆最大、南疆首个抽水蓄能电站项目正式拉开建设序幕。 ...

2023-09-27

承诺尽快公布“离线模式”相关细节,《收获日3》推出游戏更新计划
财富

,《收获日3》自发布以来,遇到了玩家广泛反映的匹配错误和在线服务问题,IT之家此前曾报道,这款游戏发行3天时就已经“多半差评”,截至发稿,这款游戏目前在Stea...

2023-09-26

报告称苹果iPhone15ProMax的平均交付时间比前代晚9天
财富

,根据市场调查机构CounterpointResearch追踪的统计数据,苹果iPhone15和iPhone15ProMax两款机型的首销平均等待时间要超出前代...

2023-09-26

广汽能源与武汉市硚口区合作,未来三年拟新增充电桩6000个
财富

,武汉市硚口区人民政府与广汽能源战略合作协议签约仪式,未来三年,硚口区拟新增充电桩6000个,同步建设集中充电场站50座,换电站10座。 图源广汽集团公众号 ...

2023-09-25

2024款小鹏P5车型即将到来,在性价比、舒适性、智能化、外观方面进行升
财富

,今天有多个汽车博主放出了2024款小鹏P5的海报。从海报来看全新P5即将在近期公布,主打“卷”。 从海报来看,新款小鹏P5将会在性价比、舒适性、智能化、外观...

2023-09-25

每天的各个时间段都适合拍摄哪些题材?
财富

摄影本质上是记录光的过程,光线自身的表现对场景和氛围的塑造具有重要的作用,是否能够选择合理的时间进行拍摄也是摄影的要点之一。 那么一天中的各个时间段都适合拍摄...

2023-09-25

“天文大科学装置冷湖台址监测与先导科学研究”取得系列成果
财富

9月21日至25日,青海省科技厅组织省内外专家对青海省重大科技专项“天文大科学装置冷湖台址监测与先导科学研究”项目及各课题进行验收。这一专项的实施,对未来大型光...

2023-09-25

“央企ESG·先锋100指数”发布蒙牛位列食品饮料行业第一
财富

2023年9月23日,第六届中国企业论坛平行论坛“践行ESG理念,创建一流企业——中央企业ESG论坛”在山东济南召开,会上发布《中央企业上市公司ESG蓝皮书》及...

2023-09-25

基金持续营销的生意经
财富

充分发挥自身优势和禀赋,找到正确的“锚点”,借助投顾化服务手段,沿着公司战略方向稳扎稳打,是做好持续营销这门生意的关键 震荡市,新基金发不出量怎么办? 今年...

2023-09-25

开放麒麟openKylin1.0.1版本系统发布,新增Windows迁移
财富

,开放麒麟系统openKylin1.0.1版本于今日上线,适配集成搜狗输入法NG麒麟桌面版,并上线新版麒麟管家应用,新增飞腾派嵌入式开发板镜像,同时修复100+...

2023-09-23

阳光人寿宁波中支工会组织开展春季踏青活动

时值仲春、阳和初起,正是春游踏青的好时光。为丰富员工业余生活,营造和谐融洽、团结向上的工作氛围,3月23日,阳...

找到黑匣子之后,下一步做什么?专家解读

找到黑匣子之后,下一步做什么?邱超奕对于空难调查而言,黑匣子在找到后,才意味着具体工作的开始。那么,它被送往了...

这所城乡接合部的新学校,为招生曾挂过三块牌子

#8203;“上级对我提的要求,就是让寒门子弟接受更好的教育,让普通孩子上好学。”一所城乡接合部的新学校,为招...

东航坠机现场:救援人员获得飞机残骸定位信息

新京报讯据中国民用航空局消息,3月21日,东航一架波音737客机在执行昆明--广州航班任务时,于梧州上空失联。...

调研指今年就业形势基本稳定实体产业人才吸引力增加

专业人力资源机构中智公司21日发布的最新调研结果显示,2022年中国就业形势基本稳定,实体产业对人才吸引力增加...