論文の概要: Mind the Gap: Theory-of-Mind-Grounded Friction for Epistemic Alignment
- arxiv url: http://arxiv.org/abs/2608.30719v1
- Date: Mon, 31 Aug 2026 12:57:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.395947
- Title: Mind the Gap: Theory-of-Mind-Grounded Friction for Epistemic Alignment
- Title（参考訳）: マインド・ザ・ギャップ(Mind the Gap) : 上皮性アライメントのためのMind-of-Grounded Friction
- Abstract要約: 我々は,Frictive Policy Optimization における制御信号として,理論・オブ・ミンド(ToM)推論を運用する。
表現レベルでは、2階のチャンネルを非難することで、誤解のリコールが65%$から26%$に削減される。
政策レベルでは、報酬形成(FAR)と信頼領域(FTR)の変種は介入F1とDPOに対する保証コンテキスト校正を改善している。
- 参考スコア（独自算出の注目度）: 10.142691415785281
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Productive dialogue alignment requires distinguishing \emph{surface coordination} (acknowledgments and smooth task progression) from \emph{epistemic alignment} (convergence of belief states); standard preference-based methods typically optimize response-level preferences without explicitly modeling the latter. We operationalize Theory-of-Mind (ToM) inference as a control signal within Frictive Policy Optimization by extracting, at each referring expression, a four-part belief structure: the speaker's intended referent, the addressee's interpretation, and each participant's model of the other's belief. This makes friction mechanically computable from epistemic-state comparisons, capturing \emph{silent divergence}, where both participants proceed confidently while grounding to different referents. We evaluate the signal at two levels. At the representation level, ablating the second-order channel reduces misunderstanding recall from $65\%$ to $26\%$. At the policy level, reward-shaping (FAR) and trust-region (FTR) variants improve intervention F1 and warranted-context calibration over DPO, with Brier scores independently supporting the calibration gains. Across three training runs, FAR and FTR remain substantially more stable, whereas DPO varies widely and can degrade intervention competence already present in the base policy. Thus, ToM-grounded friction provides a trainable signal for context-sensitive intervention under referential belief divergence.
- Abstract（参考訳）: プロダクティブな対話アライメントは、(認識と円滑なタスク進行) \emph{epistemic alignment} (信念状態の収束) と区別する必要がある。
我々は,各参照表現において,話者の意図した参照,宛先の解釈,および各参加者の他者の信念のモデルである4部分の信念構造を抽出することにより,Frictive Policy Optimizationにおける制御信号として理論・オブ・ミンド(ToM)推論を運用する。
これにより、摩擦はてんかんと状態の比較から機械的に計算可能となり、両方の参加者が異なる参照に接しながら自信を持って進行する「emph{silent divergence}」を捕捉する。
その信号は2つのレベルで評価する。
表現レベルでは、2階のチャンネルを壊すことで、誤解のリコールが65\%$から26\%$に減少する。
政策レベルでは、報酬形成(FAR)と信頼領域(FTR)の変種は介入F1とDPOに対する保証コンテキストキャリブレーションを改善し、ブライアスコアはキャリブレーションゲインを独立して支持する。
3回の訓練中、FARとFTRは依然としてかなり安定しているが、DPOは多種多様であり、既に基本方針に存在している介入能力の低下を招いている。
このように、ToM接地摩擦は、参照的信念のばらつきの下で文脈に敏感な介入を行うための訓練可能な信号を提供する。
関連論文リスト
- From Propositional to Perceptual Asymmetry: Extending Frictive Policy Optimization to Asymmetric Partial Information Dialogue [10.142691415785281]
摩擦政策最適化(Frictive Policy Optimization)は、共同対話における摩擦を共通グラウンド構築に不可欠な信号として扱う。
我々はFPOを知覚的非対称性に拡張し、参加者は非対称な部分情報を保持する。
FPOの摩擦関数は,各参加者の情報水平線内から評価した場合にのみ経験的に有効であることがわかった。
論文 参考訳（メタデータ） (2026-06-29T23:16:19Z) - Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization [31.547614109943158]
検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルにおける長鎖推論の強力なパラダイムとして登場した。
提案手法は,最終回答に対する思考軌跡の情報量を測定するシーケンスレベル信号と,重要な決定トークンにおける確実な予測を円滑化させるトークンレベル指向報酬とを組み合わせ,ISPO(Intrinsic Signal Policy Optimization)を提案する。
ISPOは競争ベースラインを一貫して上回り、ゼロアドバンテージ崩壊が最も頻繁なベンチマークで最大の利益を上げ、トレーニング力学診断では両方の障害モードが減少していることを確認した。
論文 参考訳（メタデータ） (2026-06-07T20:08:36Z) - OmniISR: A Unified Framework for Centralized and Federated Learning via Intermediate Supervision and Regularization [58.03221830946145]
我々は、純粋なCL、純粋なFL、ハイブリッドCL-FLトレーニングモードを融合する統合フレームワークであるOmniISRを提案する。
我々は,OmniISRが集中型パラダイムとフェデレーション型パラダイムの両方において,モデル性能を一貫して改善していることを示す。
論文 参考訳（メタデータ） (2026-05-19T04:13:27Z) - Improved techniques for fine-tuning flow models via adjoint matching: a deterministic control pipeline [7.967038299436285]
本稿では,フローベース生成モデルに対する人間の嗜好アライメントを定式化する決定論的随伴マッチングフレームワークを提案する。
この観点から、軌道の終端部分に焦点をあてたトランク付き随伴スキームを導入する。
我々は、標準KLベースの正規化を超えてフレームワークをさらに一般化し、アライメント強度と分布保存の間のより柔軟なトレードオフを可能にする。
論文 参考訳（メタデータ） (2026-05-07T17:12:47Z) - Group Cognition Learning: Making Everything Better Through Governed Two-Stage Agents Collaboration [13.299987551113809]
グループ認知学習(グループ認知学習、Group Cognition Learning、GCL)は、モダリティ固有の符号化の後に2段階のプロトコルを適用する、管理された協調パラダイムである。
GCLはモダリティの優位性と結合を緩和し、回帰ベンチマークと分類ベンチマークの両方で最先端の結果を確立する。
論文 参考訳（メタデータ） (2026-05-01T03:19:34Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。
このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。
安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
論文 参考訳（メタデータ） (2026-03-07T01:49:59Z) - ConsistentRFT: Reducing Visual Hallucinations in Flow-based Reinforcement Fine-Tuning [85.20505958752928]
フローベースモデル上での強化ファインチューニング(RFT)は、優先順位調整に不可欠である。
RFTは、過度に最適化された詳細や意味的なミスアライメントのような視覚幻覚をしばしば導入する。
この研究は、なぜ視覚幻覚が生じるのか、どのようにそれらを減らすのかを予備的に探求する。
論文 参考訳（メタデータ） (2026-02-03T11:49:46Z) - GRCF: Two-Stage Groupwise Ranking and Calibration Framework for Multimodal Sentiment Analysis [20.77940776708036]
ペアワイズな順序学習フレームワークは、比較から学ぶことで相対的な順序を捉える。
彼らは全ての比較に均一な重要性を割り当て、ハード・ツー・ランクのサンプルに適応的に焦点をあてることに失敗した。
本稿では,グループ相対的政策最適化の理念を取り入れた二段階群ランク付け・フレームワークを提案する。
GRCFは、コア回帰ベンチマークで最先端のパフォーマンスを達成すると同時に、分類タスクにおいて強力な一般化性を示す。
論文 参考訳（メタデータ） (2026-01-14T16:26:44Z) - Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。
我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。
一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
論文 参考訳（メタデータ） (2026-01-13T10:46:06Z) - ETR: Outcome-Guided Elastic Trust Regions for Policy Optimization [6.716883192613149]
textbfElastic textbfTrust textbfETRを提案する。
ETRはGRPOを一貫して上回り、より優れた精度を実現し、政策エントロピー劣化を効果的に緩和する。
論文 参考訳（メタデータ） (2026-01-07T09:19:53Z) - Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳（メタデータ） (2025-10-09T04:48:49Z) - ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。
Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
論文 参考訳（メタデータ） (2024-04-05T13:58:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。