《降临》的作者特德·姜:ChatGPT是网上所有文本的模糊图像。
- 假设有这个一个场景,你需要为目前互联网上的所有内容创建一个压缩副本,而容量只能使用其1%。那么,你就需要一种有损压缩算法,能够识别语言句子中特定的模式、统计规律。通过以时间(计算量)换空间的方式,将信息都存储下来。
- 当我们查看压缩后的 JPEG 图片时,可以发现一种情况:若只一瞥,它能很好地还原图片;但是如果放大到细节,就会变得模糊不清。这和 ChatGPT 问答的情况也是一样,大体上还算不错,但仔细一看却会发现漏洞百出。
- 压缩算法会用一种“插值”的方式来生成像素点之间的内容,当应用于语言模型中时,就会产生一种“虚拟的幻觉”。张冠李戴,有时给出一些事实性的错误。
- 这种跳脱于文本的“幻象”,一方面带来了所谓的事实性错误,削弱了其权威性,另一方面也带来了创造性,这意味着它可以创作出前所未有的内容。完全取决于使用者站在哪个视角下去观察。
- ChatGPT从网络上重新表达材料,而不是逐字引用,这让它看起来像一个学生用自己的话表达思想,而不是简单地重复他读过的东西。它会造成ChatGPT理解了材料的错觉。
- 在人类学生中,死记硬背并不是真正学习的标志,因此ChatGPT无法从网页中准确地引用内容,这恰恰使我们认为它学到了一些东西。当我们处理单词序列时,有损压缩看起来比无损压缩更聪明。
胡说指数:用来衡量生成的内容有多大程度偏离原始文本。
- 当胡说指数接近0时,它产生的内容通常会紧随原文,每次生成出来的内容都是比较确定的。而当胡说指数接近1时,每次都能得到不同的结果,语言拼凑的能力就变得更强。
- 在一些有创造力的场景中,我们能够容许一些比较奇特的想法,而创意的新颖性更加重要。而在一些新闻报道的严肃场合中,我们则需要它能够精确到文本段落,避免其夸大其词,加入一些捏造的语言元素。
- 无论在何种情况下,对内容的判断都是一个必备的技能,尤其是面对具有如此智能模型的时刻。
语言学家乔姆斯基批判:ChatGPT 是高科技加持的剽窃。
- 乔姆斯基认为新技术,如ChatGPT,使剽窃行为更加难以被发现,从而导致学生缺乏学习的动力。
- 学生大量采用它来生成报告、写作业,其实是一种逃避行为。在此之前,学生们对某个话题感兴趣,就会自行探索。
- 这是否表明教育系统正逐步走向失败?乔姆斯基给出了肯定的答案,他认为要解决这个问题,课堂必须变得有趣,以吸引学生。
抄袭模仿行为不会灭绝,只是成本更低。
- 模仿是一种人与生俱来的本能。包括肢体行为上的模仿,也包括意识层面的模仿。
- 通过搜索引擎得到答案,仍旧是一项高级技巧。AI 帮我们拓展触及信息的能力,处理信息和做出决策的人依然是我们自己。
- 在更强的工具出现之时,人与人之间的差距总是会越来越大的。
上海市教育委员会副主任倪闽景:ChatGPT的热潮下,对未来教育的冷静思考
- ChatGPT 是一个不断进化的数字生命体
- 婴幼儿期:对周围的世界进行观察,生成大脑链接,父母对行为进行引导和纠正。
- 2018年6月,拥有1.17亿参数的GPT1诞生,可以对未标记文本的不同语料库进行语言模型的生成性预训练,然后对每个特定任务进行区分性微调,实现无监督训练和有监督相结合的语言理解任务。
- 中小学阶段:能够完成各样的指定任务,阅读摘要、聊天、续写、角色扮演、阅读理解。
- 2019年2月,拥有15亿个参数的GPT2启动,引入了无监督的多任务学习,只需要将描述任务的算子作为输入放到一起。在前期大量学习的基础上,GPT2在文本内容生成方面表现出了强大的天赋。
- 大学生阶段:能从人类书籍、学术论文、新闻、高质量的各种信息中学习,还能自己创编新的知识。
- 2020年5月,拥有1750亿参数的GPT3启动,开始了大规模的机器学习,训练量高达45TB,并形成了根据人类反馈的强化学习方案RLHF(Reinforcement Learning from Human Feedback)。
- 鉴于人类反馈的数据获取成本高昂,2022年11月30日,ChatGPT开放公众测试,在社会公众的尺度上收集更多差异化数据。
- 范式转移正在发生,对教育的影响逐步显现。
- 在搜索领域,即可能出现类似小助手的角色,理解搜索者的真实需要,生成量身定做的答案。
- 以前学车是手动挡,后来学自动挡,如果无人驾驶来了,还有学车的必要吗?
- 就教育行为本身而言,以知识传递为核心的教育模式更是被逼入墙角。
若 ChatGPT 几乎能回答所有学生问的问题,而且能因材施教,那教师是否有存在的价值?
- 教育的首要目标是培养能独立思考和有正确价值判断能力的人,而不再是获取特定的知识。
- 人文、科技、数学知识依然重要,其中蕴含了大量价值判断、思维工具和解决问题的方法。
- 编程思维、模块思维、批判思维的学习内容急需要补充。
- 在价值观的引导上,教师扮演着无可替代的角色。
- 使用 ChatGPT等学习工具来协同改进教育教学方式。
- 使用工具是人类快速进步的原因,可以将其看成比书本、图书馆更高效的工具。
- 需要教育者开拓更高级的思考方式,反思教的内容是否有价值。
- 从人类的文化进化来说:新技术总是以淘汰老的生产方式来淘汰旧劳动,但是新技术总是以创生新的人类需求来创造更多新劳动。因此不必焦虑未来的工作会被人工智能替代。
既然这些知识可以如此方便地获取,那我们的孩子花那么长时间去学习、去做题究竟有没有意义?最迫切需要学习的又是什么?
- 超越知识学习,更加关注学习的品质。
- 通过慢来锻造思维深度联结,而不追求快。
- 通过难的挑战激发学习动力,而不是求易。金一南:日常的平淡,能磨灭一个人所有的志气
- 通过少形成闲暇发展个性化,而不是求多。稀缺 | 豆瓣阅读
- 通过拙培养钻研精神的韧性,而不是求巧。
- 我们应该多关注教育中关于思考的那部分,而少关注固定流程化的那部分。“是什么”这件事有更好的工具来代替,”为什么”显得更为重要。
- 学习品质是内在定力的一部分,和技术无关,也不会因为 ChatGPT 的突然出现而产生。
未来,更多的可能性、更多的便捷化工具,也将会持续产生。将技术工程化,走入到实际生活中,解决现成的问题。过度依赖 AI 告诉我们答案是危险的,我们应当把它作为拓展信息触及的渠道,辅助我们做出判断,而不是依赖它帮我们思考和决策。
小复盘
这篇文章的灵感来源是,正好看到了pyq有人转发的一些大咖对 ChatGPT 的评论,比较有代表性,就把一些观点汇总到了一些,再加上一些自己的想法。
相比给出答案,更重要的是提问。从教育的视角,探究学习的本质。内在定力,稳定的价值观,啃硬骨头的精神,都是些很重要的素养。
在写作中使用了 Craft 的 AI Assistant 功能,某种程度的 AI 平替。在润色、总结方面有一定的效果,贡献了约 5% 的内容。在整理资料的时候,都需要把原文阅读一遍,这个是比较花费时间精力的地方。
其他(后续文章灵感)
在测试新必应功能的时候,发现了一些有趣的事情,先记录着,作为后续的素材。

寻找资料来源:

通过文章中的某个句子,反问其来源,来查到其原始信源,来判断其是否真的是原创。或者是世界上,是否有其他人正好持有了与你相同的想法。

论文:既能造假,又能查重。