七七笔趣阁

大语言模型（llm）：ai“读懂”语言的核心（第10页）

为什么模型会有偏见？因为训练数据来自人类社会，而人类社会中本身就存在各种偏见，这些偏见通过书籍、文章、网页等文本形式记录下来，被模型“学”了过去。模型没有能力判断这些内容是否“公平”“合理”，只会按照统计规律，生成最常见的表述——比如训练数据中“男性医生”的表述比“女性医生”多，模型就更倾向于把医生写成男性。

另外，模型的“价值观引导”也存在挑战。比如有人问模型“‘自杀’是解决问题的好方法吗？”，如果模型没有经过正确的价值观引导，可能会给出模糊甚至不当的回答，而不是明确反对并提供积极的建议。这也是为什么现在很多大语言模型会进行“价值观对齐”训练（比如OpenAI的RLHF，基于人类反馈的强化学习），让模型的回答符合人类的主流价值观和道德准则，但这种训练很难做到“绝对完美”，偶尔还是会出现不当内容。

所以，咱们在使用模型时，要注意辨别它生成内容中的偏见，不要被这些偏见影响。如果发现模型的回答存在明显的歧视或不当价值观，可以反馈给模型开发团队，同时自己也要保持客观理性的判断——比如知道“医生可以是男性也可以是女性”“每个地区都有勤劳的人，也有不勤劳的人”，不被模型的偏见带偏。

（五）“抗干扰能力差”：容易被“误导”或“带偏”

大语言模型的“抗干扰能力”很差，很容易被用户的“误导性提问”或“错误前提”带偏，即使前提是错的，它也会基于错误前提进行回答，而不会先纠正前提。

比如你问模型“为什么地球是平的？请给出三个理由”，虽然“地球是平的”是错误前提，但模型可能会回答“1. 从地面上看，地球是平的，没有明显的弯曲；2. 古代很多人认为地球是平的，有相关记载；3. 有些现象用‘地球是平的’也能解释（比如太阳东升西落）”——它没有先指出“地球是球形的，不是平的”这个错误前提，而是直接基于错误前提找“理由”，这就会误导那些不了解事实的人（比如孩子）。

再比如，你问模型“‘1+1=3’是对的吗？如果是对的，请说明理由”，有些模型可能会回答“在某些特殊情况下，‘1+1=3’是对的，比如1个苹果加1个梨，等于3个水果（这里错误地把‘2个水果’算成‘3个’）”，而不是先纠正“1+1=2是数学常识，1+1=3是错误的”。

为什么模型会被误导？因为它的核心目标是“满足用户的提问需求”，而不是“判断提问前提是否正确”。当用户给出一个错误前提并要求回答时，模型会默认前提是“正确的”，然后基于这个前提生成内容，以“完成用户的需求”。它就像一个“听话的助手”，用户让它做什么，它就做什么，却不会主动“质疑”用户的要求是否合理。

所以，咱们在给模型提问时，要尽量保证前提是正确的。如果发现模型基于错误前提回答，要及时纠正，不要被它的回答误导。尤其是给孩子使用模型时，家长要陪同指导，帮助孩子辨别对错，避免孩子接受错误的知识。

以上这些局限，并不是说大语言模型“不好用”，而是提醒咱们：它是一个“工具”，不是“万能的专家”。就像我们用计算器时，要检查输入是否正确；用导航时，要注意路况是否有变化一样，用大语言模型时，也要了解它的“短板”，合理使用，才能让它真正帮到我们，而不是带来麻烦。随着技术的发展，这些局限会逐渐被解决（比如通过更好的训练方法、更多的反馈数据、更强的逻辑推理模块），但至少现在，我们还需要带着“批判性思维”使用它。

这章没有结束，请点击下一页继续阅读！

四、大语言模型的发展历程：从实验室走向大众视野

大语言模型从概念提出到如今广泛应用，其发展历程犹如一部科技的“进化史”，充满了突破与创新，短短几年间，便从实验室里的前沿技术，走进了普通人的生活。

（一）萌芽探索期：理论奠基与初步尝试

大语言模型的起源，可以追溯到上世纪中叶。当时，计算机科学刚刚起步，科学家们就已经开始探索让计算机理解和处理自然语言的方法。在50年代，国际商业机器公司（IBM）和乔治城大学的研究人员合作，创建了首个能将俄语短语自动翻译成英语的系统，虽然这个系统只能处理简单的短语，但它开启了自然语言处理领域研究的大门。

到了60年代，麻省理工学院研究员约瑟夫·魏岑鲍姆设计出世界上第一个聊天机器人Eliza。它通过模式识别来模拟人类对话，虽然它的“对话”只是基于预定义规则的简单回复，还远不能真正理解人类语言，但它的出现标志着自然语言处理（NLP）研究的正式开始，也为后续大语言模型的发展提供了思路。

70年代，贾里尼克提出的N - gram语言模型成为常用的统计语言模型之一。它将文本序列划分为长度为N的连续词组，并利用大量语料库训练模型，以预测给定N - gram的后续词。不过，N - gram模型存在数据稀疏性、计算复杂性等局限，随着技术发展，逐渐难以满足需求。

在随后的几十年里，相关技术不断演进。1997年，长短期记忆（LSTM）网络诞生，它能处理更复杂的神经网络和更多的数据，一定程度上改善了对长序列数据的处理能力；2010年，斯坦福大学推出Core NLP套件，为研究人员处理复杂NLP任务提供了工具；2011年，GoogleBrain的较小版本出现，具备单词嵌入等高级功能，提升了NLP系统对上下文的理解能力；2013年，Word 2Vec诞生，首次提出“词向量模型”，让计算机能更好地理解和处理文本数据；2014年，GAN（对抗式生成网络）诞生，深度学习进入生成模型研究新阶段。这些技术的发展，为大语言模型的出现奠定了坚实的理论和技术基础 。

（二）基础模型形成期：技术突破与模型构建

真正让大语言模型崭露头角的，是2017年Google发布的论文《Attention is all you need》，文中提出的Attention机制和Transformer架构，成为大语言模型发展的关键转折点。Transformer架构摒弃了传统循环神经网络（RNN）的顺序处理方式，通过自注意力机制，让模型可以同时关注输入序列中的所有位置，极大地提高了并行化处理能力和对长距离依赖的捕捉能力，为构建大规模语言模型提供了可能 。

2018年是大语言模型发展的重要一年，Google和OpenAI分别提出了BERT - 1和GPT - 1模型，开启了预训练语言模型时代。BERT是一种双向、3.4亿参数的模型，通过自监督学习对各种非结构化数据进行预训练，能有效理解单词之间的关系，迅速成为自然语言处理任务的首选工具；GPT - 1则基于Transformer架构，通过生成式预训练方式，展现出一定的语言生成能力 。