叶昊洋

大语言模型智能体对交互环境的自报告信念是否准确、一致？这些信念能够为任务成败提供哪些诊断信息？

• 构建 LLM 辅助的评估流程，将命题模板实例化到智能体交互轨迹中，并结合形式逻辑规则与贝叶斯推断，生成真／假／未知三类参考标签。
• 在 ALFWorld、WebShop 和 Noisy Cabinets 中评估世界状态、认知状态、行动可行性与决策四类命题，同时衡量准确率及选项排列、否定、时序与改写一致性。
• 发现当参考标签与模型回答均为真或假时，行动可行性与决策命题的准确率在环境内中心化后仍与任务成功率正相关，体现出对智能体行为的诊断价值。
• 揭示回答“未知”的倾向是不同模型一致性差异的来源之一，并建立回答倾向模型，联系准确率与否定一致性，解释二者随交互历史增长而下降的现象。

能够准确读出模型内部状态的线性方向，是否也能在状态改变时有效引导模型的决策？

• 基于 ALFWorld 与 WebShop 轨迹构造受控任务，将源输入的状态与目标输入的决策规则、答案映射组合，区分真正的反事实重计算与直接复制答案或源计划。
• 学习并验证参考引导子空间，确认所需的答案改变可以实现，再固定层、位置、样本对与替换操作，对比由线性探针得到的干预方向。
• 在四个模型、两个环境中发现：参考子空间的正交补空间仍保留近乎完美的线性可读性，但沿直接探针方向进行干预的反事实重组准确率接近零。
• 进一步检验协方差变换与多探针方向组合；这些方法在完整激活空间中的提升未能延续到补空间，说明高探针准确率本身不足以证明相应方向能够有效引导模型。

针对数学推理任务，研究大模型后训练中的 SFT 应在何时停止，从而使后续 RL 阶段获得最优的最终性能。

• 在 Qwen2.5 系列多种规模模型上使用 OpenR1 数据集开展 SFT 与 RL 后训练，并在 SFT 过程中持续保存 checkpoint。
• 分别从每个 checkpoint 开始 RL 训练；发现验证集 loss 最低点之前，后期 checkpoint 的 RL 起始熵更低但 reward 更高，回复长度始终呈现先下降后上升的规律。
• 发现 SFT 验证集 loss 越过最低点并进入早期过拟合后，RL 最终 reward 仍会继续提升，说明 SFT 的最优停止点位于早期过拟合阶段之内。
• 该规律在 3B 与 7B 模型上较为明显；0.5B 模型规模过小，难以有效学习 OpenR1 中的数学题。

研究物品与广告混合多槽位拍卖问题，其中内容对比会对列表顺序及点击率产生外部性。

• 设计评估器架构，用于刻画顺序外部性并还原真实点击率。
• 设计生成器架构，根据商品特征与出价给出最优排序序列。
• 训练上述两个网络，并推导若干理论结果。