論文の概要: Do Modules Stay in Their Lane? Role Drift in Compound LLM Systems

• arxiv url: http://arxiv.org/abs/2607.21627v1
• Date: Tue, 07 Jul 2026 22:31:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.951264
• Title: Do Modules Stay in Their Lane? Role Drift in Compound LLM Systems
• Title（参考訳）: モジュールはレーンに留まるのか? : 複合LLMシステムにおける役割ドリフト
• Abstract要約: Role Driftは、割り当てられた役割から逸脱したモジュールがシステムレベルの評価には見えない障害モードである。 エンドツーエンドのトレーニングにおいて,各モジュールが割り当てられた役割からどの程度逸脱するかを調節するレギュレータであるRole Anchorを提案する。
• 参考スコア（独自算出の注目度）: 0.66816887202191
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: End-to-end reinforcement learning can improve the accuracy of compound LLM systems, but it does not constrain how modules divide labor internally. We identify Role Drift, a failure mode in which modules preserve or improve end-task performance while deviating from their assigned roles through role-violating shortcuts that remain invisible to system-level evaluation. To make role drift observable and controllable, we propose Role Anchor, a regularizer that modulates how much each module deviates from its assigned role during end-to-end training. The key idea is to preserve how the role prompt shifts the module's next-token predictions relative to a neutral prompt, which serves as a proxy for the role's intended effect during training. Experiments on two compound LLM pipelines reveal role drift that accuracy alone fails to detect: a decomposer meant to split a question into sub-questions for a separate solver instead plants the answer in them, and a reader meant to answer from retrieved passages instead falls back on parametric memory. In fact, on the decomposer pipeline this shortcut drives most of the apparent RL gain: 86% of it vanishes once the decomposer is held to its role, indicating that terminal accuracy alone can badly overstate how much a compound system has genuinely learned. Across both pipelines, Role Anchor mitigates role drift at a tunable accuracy cost that varies by pipeline and anchor strength. Additional gradient analysis suggests that the regularizer reduces alignment with the role-drift direction rather than simply suppressing learning.
• Abstract（参考訳）: エンド・ツー・エンド強化学習は複合LLMシステムの精度を向上させることができるが、モジュールが内部的に労働を分割する方法に制約はない。 Role Driftは、モジュールが割り当てられた役割から逸脱しながら、システムレベルの評価には見えないロール違反のショートカットによって、エンドタスクのパフォーマンスを維持または改善する障害モードである。 ロールドリフトを観測可能かつ制御可能にするために、各モジュールが割り当てられたロールからどの程度逸脱するかをエンドツーエンドのトレーニング中に調整するレギュレータであるRole Anchorを提案する。 キーとなる考え方は、モジュールが意図した効果のプロキシとして機能する中立的なプロンプトに対して、ロールプロンプトがモジュールの次のトーケント予測をどのようにシフトするかを保存することである。 2つの複合LLMパイプラインの実験では、精度だけでは検出できないロールドリフトが明らかにされている: 分離された解法のために質問をサブクエストに分割するデコンポスタ、代わりに解答を配置するリーダ、取得したパスから回答するリーダ、がパラメトリックメモリにフォールバックする。 実際、デコンポザパイプラインでは、このショートカットが明らかなRLゲインの大部分を駆動している: 86%は、デコンポザがその役割を果たすと消滅する。 両方のパイプラインでロールアンカーは、パイプラインとアンカー強度によって異なる調整可能な精度でロールドリフトを緩和する。 追加の勾配解析により、正規化器は単に学習を抑制するのではなく、ロールドリフト方向との整合を減少させることが示された。

関連論文リスト

• Revisiting Complete Reasoning Traces for Post-Training [61.76889440384448]
  大規模言語モデル(LLM)は、しばしば推論能力を改善するために、事前コンパイルされた推論軌道上で後から訓練される。 フルトラジェクトリは限られた利益しか得られないが, 部分トラジェクトリは重いトラジェクトリの下でも有効である。
  論文  参考訳（メタデータ） (2026-09-07T06:46:17Z)
• TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
  大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。 しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。 凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。 MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
  論文  参考訳（メタデータ） (2026-08-18T23:40:28Z)
• A Graph-Based Reinforcement Learning Framework for Structured Drift Diagnosis and Recovery in Autonomous LLM Agents [0.5249805590164902]
  既存のアプローチは、迅速なレベルでのドリフトに対処するが、ステップレベルの検出、リスクアセスメント、リカバリ決定のための構造的なメカニズムが欠如している。 この作業は、代わりにプラグインとプレイのリカバリモジュールをターゲットにしている。 グラフベースのフレームワークでは、リカバリグラフの各ノードに特化するための強化学習を通じて、単一の小さな言語モデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-14T09:12:14Z)
• Latent-LoRA: Compact Latent-Space Adapters with Gradient-Free Routing for Continual Learning [2.749219725903528]
  大規模言語モデルは個々のタスクによく当てはまるが、それらをシーケンシャルに学習する固有のメカニズムは欠如している。 LoRAベースの連続学習手法はタスクごとに個別の低ランクアダプタを割り当てるが、既存のアプローチでは推論時にタスクの同一性を必要とするか、全てのアダプタを無差別にまとめる必要がある。 最近のゲーティングベースのソリューションは、正しいアダプタへの入力をルートするが、それ自体が忘れることを防ぐために保護を必要とするトレーニング可能なパラメータを導入する。 Latent-LoRAはリプレイフリーで、トレーニング可能なルーティングコンポーネントを必要としない。
  論文  参考訳（メタデータ） (2026-07-26T20:42:56Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations [41.8393565183611]
  オンライン蒸留(OPD)は,高濃度のトークンレベルの誘導を通じて,高機能天井を拡大することなく,学生を正しい推論経路へと導いてくれることを示す。 教師と教師のミスマッチは、教師と生徒の分布ギャップが大きくなり、指導信号がタスクの正しさに悪影響を及ぼし、反生産的な方向を探索するときに起こる。 長さ爆発は、集約されたトークンレベルの目的が長さ依存のショートカットを生成し、学生が応答の切り離しや冗長なパディングを通じて報酬のランドスケープをゲームできるようにするときに起こる。 これらの病態に対処するために、我々は軽量信号規制、すなわち、クリップとログスケール圧縮について検討する。
  論文  参考訳（メタデータ） (2026-07-15T02:52:37Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Dynamic Rollout Editing for Reducing Overthinking in RL-Trained Reasoning Models [102.76983747945836]
  長い形式の連鎖推論は複雑なタスクのパフォーマンスを向上させることができる。 しかし、正しい答えが現れた後、モデルはしばしば不要な推論を生成し続ける。 我々はこの現象をGRPO型強化学習の観点から研究する。
  論文  参考訳（メタデータ） (2026-06-16T13:10:30Z)
• When Roles Fail: Epistemic Constraints on Advocate Role Fidelity in LLM-Based Political Statement Analysis [0.0]
  本稿では,モデルが割り当てられた役割を確実に維持するという仮定を,初めて体系的に実証した。 RDI(Role Drift Index)、EDD(Drift Distance)、DDI(Directional Drift Index)、ERS(Entropy-based Role stability)の4つの指標を用いて、60の政治声明における役割忠実度を測定した。 エピステミック・フロア・エフェクト(ファクト・チェックの結果は、正当性が維持できない絶対的な下位境界を作る)とロール・プライア・コンフリクト(学習時の知識が、事実的に曖昧な文に対して役割指示を上回る)の2つの障害モードを特定します。
  論文  参考訳（メタデータ） (2026-04-29T21:50:28Z)
• Generate, Filter, Control, Replay: A Comprehensive Survey of Rollout Strategies for LLM Reinforcement Learning [79.88942231770629]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を向上させるための訓練後の中心的なツールとなっている。 統一表記によるロールアウトパイプラインの形式化とGenerate-Filter-Control-Replay(GFCR)の導入 検証可能な報酬、プロセスの監督、判断に基づくゲーティング、ガイドとツリー/セグメントのロールアウト、アダプティブな計算割り当て、早期終了と部分的なロールアウト、スループット最適化、自己改善のための再生/再配置でRLにまたがる手法を合成する。
  論文  参考訳（メタデータ） (2026-04-08T00:53:29Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• The Illusion of Role Separation: Hidden Shortcuts in LLM Role Learning (and How to Fix Them) [15.48684126686974]
  微調整された大言語モデルは、しばしば役割識別のために2つのプロキシに依存することを示す。 モデル入力エンコーディングにおけるトークンワイドキューを調整し,役割境界をマークするエンフィン変分信号の強化を提案する。
  論文  参考訳（メタデータ） (2025-05-01T16:06:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。