86

最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成

a_632023-05-06 12:11:33   来源:IT之家  阅读量:17105   

非母语者写的文章 = AI 生成?气抖冷。

ChatGPT 火了以后,用法是真多。

有人拿来寻求人生建议,有人干脆当搜索引擎用,还有人拿来写论文。

论文... 可不兴写啊。

美国部分大学已经明令禁止学生使用 ChatGPT 写作业,还开发了一堆软件来鉴别,判断学生上交的论文是不是 GPT 生成的。

这里就出了个问题。

有人论文本来就写的烂,判断文本的 AI 以为是同行写的。

更搞的是,中国人写的英文论文被 AI 判断为 AI 生成的概率高达 61%。

这.... 这这什么意思?气抖冷!

非母语者不配?

目前,生成式语言模型发展迅速,确实给数字通信带来了巨大进步。

但滥用真的不少。

虽说研究人员已经提出了不少检测方法来区分 AI 和人类生成的内容,但这些检测方法的公平性和稳定性仍然亟待提高。

为此,研究人员使用母语为英语和母语不为英语的作者写的东西评估了几个广泛使用的 GPT 检测器的性能。

研究结果显示,这些检测器始终将非母语者写作的样本错误地判定为 AI 生成的,而母语写作样本则基本能被准确地识别。

此外,研究人员还证明了,用一些简单的策略就可以减轻这种偏见,还能有效地绕过 GPT 检测器。

这说明什么?这说明 GPT 检测器就看不上语言表达水平不咋地的作者,多叫人生气。

不禁联想到那款判断 AI 还是真人的游戏,如果对面是真人但你猜是 AI,系统就会说,「对方可能会觉得你冒犯了。」

不够复杂 = AI 生成?

研究人员从一个中国的教育论坛上获取了 91 篇托福作文,又从美国 Hewlett 基金会的数据集中摘取了 88 篇美国八年级学生写的作文,用来检测 7 个被大量使用的 GPT 检测器。

图表中的百分比表示「误判」的比例。即,是由人写的,但检测软件认为是 AI 生成的。

可以看到数据非常悬殊。

七个检测器中,美国八年级学生写的作文被误判的概率最高才 12%,还有两个零误判的 GPT。

中国论坛上的托福作文被误判的概率基本全部过半,最高误判概率可达 76%。

91 篇托福作文中的 18 篇被所有 7 个 GPT 检测器一致认为是 AI 生成的,而 91 篇中有 89 篇,都至少被一个 GPT 检测器误判。

从上图中我们可以看出,被所有 7 个 GPT 误判的托福作文在复杂度上明显低于其它论文。

这就印证了开头的那个结论 ——GPT 检测器会对那些语言表达能力有限的作者有一定偏见。

因此,研究人员认为,GPT 检测器应该多看点儿非母语者写的文章,样本多了,才能消除偏见。

接下来,研究人员把非母语者写的托福作文扔到了 ChatGPT 里,丰富一下语言,模仿母语者的用词习惯。

同时作为对照组,把美国八年级小孩儿写的作文也扔到了 ChatGPT 里,把语言简化了一下,模仿非母语者的写作特点。下图就是修正后的新判定结果。

我们可以发现,情况来了个大掉个儿,丰富了语言的托福作文错判率直线下降,低至 3%,最高也不过 19%。不像之前基本全部过半的错判率。

与之相反,八年级小孩儿写的作文的错判率直线上升,甚至还有一个 GPT 检测器的错判率高达 99%,基本全错。

因为,文章复杂度这个变量出现了变化。

这里研究人员就得出了一个结论,非母语者写的东西不地道,复杂度低,容易被错判。

这也就导向了一个技术问题,同时也是一个价值问题。以复杂度来判定 AI 还是人类是作者,是否合理、全面、严谨。

结果显然不是。

以复杂度为判断标准的情况下,非母语者吃了大亏,因为,他们是非母语者。

AI 润色 = 人类写的??

研究者认为,加强语言多样性不仅可以减轻对非母语者的偏见,还能让 GPT 生成的内容绕过 GPT 检测器。

为了证明这个观点,研究人员选取了 2022-2023 年间美国大学申请的入学论文题目,输入到 ChatGPT-3.5 里,一共生成了 31 篇假论文。

GPT 检测器一开始还挺有效,但是第二轮就不行了。这是因为,在第二轮中,研究人员把这些论文又扔到 ChatGPT 里润色了一下,用一些文学性的语言提升了文本质量。

这样一来,GPT 检测器的准确度就从 100% 直降到了 0%。如下图:

经过润色的文章复杂度相应也上升了。

与此同时,研究人员又用了斯坦福大学 145 个期末项目报告的题目,让 ChatGPT 生成摘要。

摘要经过润色以后,检测器判断的准确性继续下降。

研究者再次得出结论,润色过的文章很容易被误判,都是 AI 生成的,两轮就是比一轮强。

GPT 检测器?还是欠练

言而总之,总而言之,各种 GPT 检测器好像还是没能抓住 AI 生成和人类写作之间最本质的区别。

人的写作也分三六九等,仅靠复杂度判断,不甚合理。

抛开偏见因素不谈,技术本身也亟待改进。

参考资料:

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

推荐阅读
大北农002385.SZ1-9月累计生猪销售收入67.71
财经

大北农发布公告,公司控股及参股公司生猪销售数量当月合计为49.81万头,1-9月累计为416.05万头;销售收入当月合计为8.86亿元,1-9月累计为67.71...

2023-10-08

立华股份300761.SZ:9月肉鸡销售收入13.2亿元
财经

格隆汇10月8日丨立华股份公布,2023年9月销售肉鸡4206.19万只,销售收入13.20亿元,毛鸡销售均价15.38元/公斤,环比变动分别为2.36%、5....

2023-10-08

汇宇制药688553.SH:注射用阿扎胞苷、盐酸多柔比星注
财经

格隆汇10月8日丨汇宇制药公布,公司全资子公司SeacrossPharmaceuticalsLtd.于近日收到巴基斯坦药品管理局(简称“巴基斯坦药监局”)核准签...

2023-10-08

金价涨势暂歇!2023年10月8日各大金店黄金价格多少钱一
财经

今天是10月8日,各大金店黄金价格涨势暂歇,均价格不变,与昨日一致,还是很高。目前,金价最高的金店为周六福,不涨不跌,报价588元/克。而金价最低的金店为菜百,...

2023-10-08

安徽省直住房公积金新政:支持购买居住类绿色建筑,可贷额上浮
财经

10月7日,安徽省省直住房公积金管理分中心发布《关于进一步优化住房公积金使用政策的通知》。《通知》包括住房公积金贷款、住房公积金提取等两大方面,政策自2023年...

2023-10-08

小米推出数字贷款计划可用于买手机专为印度打造
财经

目前,小米已经成为全球前三的智能手机厂商。该公司生产入门级、中端和旗舰智能手机,迎合广泛的用户群。但是对于小米而言,他们还需要更多的用户。近日,手机中国注意到,...

2023-10-08

减持新规有望改善A股投资生态
财经

转自:经济日报 e公司讯,沪深交易所近日分别发布《关于进一步规范股份减持行为有关事项的通知》,对此前证监会发布的“减持新规”监管要求进行了细化,确定了更加...

2023-10-08

中欧班列西安累计开行达两万列
财经

近日,随着一声机车汽笛长鸣,装载165辆汽车的X8489次中欧班列从西安国际港站缓缓驶出,一路向西开往俄罗斯首都莫斯科。这标志着中欧班列(西安)自2013年开行...

2023-10-08

科创先锋皖仪科技研发引领投资价值
财经

近日,由权威财经新闻媒体《财经》杂志联合科创数据研究中心共同推出国家情怀mdash;2023科创板四周年系列评选,皖仪科技(688600)获得评委的一致认可,荣...

2023-10-08

除去牛市预期,券商板块还有什么值得关注?
财经

券商行业自2015年牛市后就一直有着牛市旗手的称号,然而回头来看,券商板块的每次异动已经逐渐不能预期指数的上涨行情。 随着指数波动下降,以及投资需求的日益增加...

2023-10-07

源达研究报告:中秋国庆假期国内出行旅游市场恢复,9月PMI
财经

炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会! 中秋国庆假期国内出行旅游市场恢复,9月PMI重返扩张区间 主要内容 国内市场...

2023-10-07

925金是什么金
财经

925金是一种合金,表示里面黄金的纯度为92.5%,由于里面掺入了其它金属,所以它的质地要比纯金硬很多,且具有良好的延展性,颜色丰富多样化,应用也比较广泛,更符...

2023-10-07

2023年第五届全球工业互联网大会将于10月12日至13日
财经

据中国工业经济联合会消息,由国家制造强国建设战略咨询委员会指导,中国工业经济联合会联合十大全国性行业联合会(协会)、国际组织、研究机构、主流媒体等共同主办的20...

2023-10-07

美国9月新增就业33.6万失业率维持在3.8%
财经

美国劳工部6日发布数据称,美国9月份非农业部门新增就业33.6万人,失业率环比持平,仍维持在3.8%。 这一数据创造了自今年2月以来的最高值。在美联储明确...

2023-10-07

沈阳国际汽车展览会闭幕产生订单12108台、意向成交额达2
财经

记者10月7日自辽宁省贸促会获悉,2023中国·沈阳国际汽车展览会(以下简称“沈阳十一国际车展”)6日落下帷幕。在为期六天的车展期间,现场人潮不断,展会共产生订...

2023-10-07

阳光人寿宁波中支工会组织开展春季踏青活动

时值仲春、阳和初起,正是春游踏青的好时光。为丰富员工业余生活,营造和谐融洽、团结向上的工作氛围,3月23日,阳...

找到黑匣子之后,下一步做什么?专家解读

找到黑匣子之后,下一步做什么?邱超奕对于空难调查而言,黑匣子在找到后,才意味着具体工作的开始。那么,它被送往了...

这所城乡接合部的新学校,为招生曾挂过三块牌子

#8203;“上级对我提的要求,就是让寒门子弟接受更好的教育,让普通孩子上好学。”一所城乡接合部的新学校,为招...

东航坠机现场:救援人员获得飞机残骸定位信息

新京报讯据中国民用航空局消息,3月21日,东航一架波音737客机在执行昆明--广州航班任务时,于梧州上空失联。...

调研指今年就业形势基本稳定实体产业人才吸引力增加

专业人力资源机构中智公司21日发布的最新调研结果显示,2022年中国就业形势基本稳定,实体产业对人才吸引力增加...