研究发现:ChatGPT回答编程问题的错误率超过50%
发布日期: 2023-08-09 11:09:25 来源: IT之家


(相关资料图)

美国普渡大学的研究发现,OpenAI 开发的人工智能聊天机器人 ChatGPT 在回答软件编程问题时,错误率超过一半,且能骗过三分之一的提问者。

该研究团队分析了 ChatGPT 对 517 个 Stack Overflow 网站上的问题的回答,评估了其正确性、一致性、全面性和简洁性。他们还对回答进行了语言和情感分析,并对 12 名志愿参与者进行了问卷调查。研究报告的结论是:ChatGPT 的回答虽然语言风格良好,但 52% 的回答是错误的,77% 是冗长的。参与者只有在回答中的错误很明显时,才能识别出来。否则,他们会被 ChatGPT 的友好、权威和细致的语言风格所误导。

Stack Overflow 是一个专门为程序员提供问答服务的网站,被认为是开发者获取代码片段和解决问题的重要来源。然而,该网站近年来也面临着流量下降、内容质量下降和用户信任下降等问题。据 SimilarWeb 在 4 月份的一份报告显示,自 2022 年 1 月以来,该网站每月流量下降了 6%,3 月份下降了 13.9%,而 ChatGPT 可能是导致其流量下降的原因之一。Stack Overflow 则否认了 SimilarWeb 的评估,并表示其流量受到搜索算法和 ChatGPT 兴趣激增的影响。

OpenAI 在其 ChatGPT 网站上承认其软件“可能会产生关于人、地点或事实的不准确信息。”截至IT之家发稿,该公司暂未对普渡大学的研究作出回应。


关键词:

相关文章

  • 研究发现:ChatGPT回答编程问题的错误率超过50%

  • 聚焦创投助推高质量发展|扶持瑞德林成为绿色活性原料领导品牌

  • “美国媒体讳莫如深,其中必有文章”

  • 2023年茅箭区教育局所属学校公开招聘教师第一次递补资格复审公告

  • 今日看点(8月8日)| 成都大运会闭幕式今晚举行 匈牙利、意大

  • 天岳先进(688234)8月8日主力资金净卖出266.78万元

  • 利用网络延迟对购物平台“薅羊毛” 兰州警方破获一起新型网络诈

  • 大业股份(603278):Q2供需两旺 盈利能力有望持续上行

  • 法国暂停援助前殖民地布基纳法索,法军曾于今年2月从该国撤离

  • 联盟历史上最具统治力的王朝球队

  • 沙特吉达直飞北京新航线开通

  • 补助受灾学生!北京多所高校齐发声

  • 电报解读|京沪广深的房地产政策调控优化会议即将在8月召开

  • 记者手记:亲历涿州救灾一线的温情与感动

  • 比特币突破30000美元/枚关口 24小时内涨2.89%

  • 为防汛指挥提供实时数据支撑 海委水文人全力迎战海河流域性大洪

  • 定妆用什么(有什么好的定妆方法可以推荐下)

  • 广州BRT全线26个站台均配备AED

  • 斯达半导(603290)8月8日主力资金净卖出8299.94万元

  • 中企承建柬埔寨首都第三环线通车启用

热点图集