终结奖励欺骗？Google DeepMind 提出 Crome 框架
🪐 1️⃣ 为什么要研究 Crome 框架？大型语言模型（LLM）训练时，为了让它们“更像人”，常使用 RLHF（强化学习+人类反馈） 方法，通过【奖励模型（RM）】打分引导模型学会更好的回答方式。问题出现：现有奖励模型常被【奖励欺骗】困扰。模型学会了“表面讨好”，如回答更长、格式更好看，就被打高分。
一直在黑暗、冷漠里长大的人，会怎样？
一个从小到大一直在痛苦、黑暗、冷漠里长大的人，会在身体里留下长久的寒气。这股寒气并非外物，而是源于心底的孤独、长期压抑的恐惧，以及对温暖本能的渴望与排斥交织成的扭曲能量。每当夜深人静时，身体疲惫到极限，心里却会浮现出一道暗影，那是曾经一个人硬撑过来的影子，也是曾经渴望被拥抱而未能被拥抱的影子。这种寒气，会让人变得敏感又迟钝。
内向、自卑、社交障碍并非性格标签，更像是长期压抑后留下的对话方式
内向、自卑、社交障碍是被压抑的心在长久沉默中喊出的声音人在年少时被教导着“安静一点”“别乱说话”，在看见大人脸色阴沉时不敢发问，在表达真实感受时被批评“矫情”，于是习惯了沉默，习惯了用内向与退缩来避免冲突，也避免失望。内向、自卑、社交障碍并不只是性格标签，更像是长期被压抑后留下的呼吸方式。
我不是在计较迟到，而是在守一份可依靠的安定
同事天天迟到这件事，我最害怕失去的是什么？因为他的迟到，让领导们觉得我们纪律涣散，团队像养老，动解散团队的心思，加上资金见底，这种风险性让我更强烈，害怕失去安定感。最想得到的是什么？安定感。这就是我的立场嘛？或者立场就是价值观？立场这两个字，看起来像是外在的态度，其实更多藏在内心的深处，是人在生活缝隙中逐渐长出的那点坚持。
最高级的痛苦，是“你的”
最高级的痛苦，是“你的”。不是最剧烈的，不是最惊天动地的，而是最贴身的。它没有颜色，也不一定有名字。它可能是凌晨四点醒来时的心慌，也可能是一通电话没接上的悔意，是走进人群时的自我疏离，是话到嘴边却又咽下的沉默。这种痛苦，没有谁能真正体会，哪怕你倾诉得再具体，对方也只能听懂轮廓，而走不到你的深处。世人常常以为，痛苦是比出来的，是等级，是重量，是大悲剧。
乾卦元之初动
在那最初尚未分化的沉寂中，有一道动念从虚无深处缓缓生起，它无声、无形，却又贯穿万象。乾卦称之为“元”——这不是一个物质的起点，也不是一组可以被定义的起源条件，而是一种内含生成力的“动”，是未曾言说前、万物未生时的那一口气。
慢下来才看得见的那点美
一只杯子洗完，晾在阳光里，那个画面就很美。美并不总停在壮阔或新奇里。它有时就藏在生活的缝隙中。你在一朵花前停留三秒钟，其实是在对这花说：“我看见你了。”这个停留会绕回来，治愈你心里那个“好像没人看见我”的部分。你向美敞开，自己也被世界接住了一些。那些没用的、微小的、却打动你的东西，你开始肯接受。心最真的所在，恰好就是这些。欣赏美，也是一种尊重。
我逐渐具备了欣赏美的能力
我逐渐具备了欣赏美的能力。这句话说出来的时候，世界就已经变得柔软了一点。因为当一个人开始真正能欣赏美的时候，说明他不再只活在外部的功能和效率里，而开始回到一种细微的内在觉知之中。他愿意放慢一点点脚步，愿意让某一刻的宁静停留久一点，愿意承认自己心里有一个区域，是专属于感受和体会的，而不是用来换取什么的。
生命是需要回应的，凡是没得到回应的地方，就是曾经受过的伤
一个人为什么会忽然沉默？为什么突然就不想说了？很多时候，不是因为他想独处，而是他已经习惯了说了没人听、没人懂、没人回应。回应，是每一个生命在落地后最原始、最本能的渴望。婴儿第一声啼哭，不是为了表达什么，只是他身体本能的震动。而母亲一个温柔的抱抱、一个回应的目光，能让这个小小的存在确认：我可以在这里活下去。那是最初的回应。
接纳一个生命，不是满足他，而是接住他
一个生命真正“落地”，是从“大有”之中脱出，从无分别、无边界的整体之境，被投入到这个由语言、概念、制度、他人之眼构成的人世世界。这个世界不再是纯粹的存在，而是结构化的、有规则的，是带着分别、有所选择、有得有失的现实场域。从那一刻起，他就必须学会：不是所有愿望都会被满足，不是所有情绪都能被接住，不是所有表达都会被听见。他被送到了一个不再是全然承接的世界。