論文の概要: Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate

• arxiv url: http://arxiv.org/abs/2604.24881v1
• Date: Mon, 27 Apr 2026 18:06:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.541801
• Title: Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate
• Title（参考訳）: 潜伏剤 : 内在型マルチエージェント・ディベートのためのポストトレーニング法
• Authors: John Seon Keun Yi, Aaron Mueller, Dokyun Lee,
• Abstract要約: 大規模言語モデル(LLM)における推論を改善するためのマルチエージェントの議論が示されている。 2段階の微調整パイプラインを通して,マルチエージェントの議論を単一のLLMに蒸留するフレームワークを開発した。 内部化モデルは、最大93%のトークンを使用して、明示的なマルチエージェントの議論パフォーマンスにマッチするか、超過します。
• 参考スコア（独自算出の注目度）: 16.68699018207298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent debate has been shown to improve reasoning in large language models (LLMs). However, it is compute-intensive, requiring generation of long transcripts before answering questions. To address this inefficiency, we develop a framework that distills multi-agent debate into a single LLM through a two-stage fine-tuning pipeline combining debate structure learning with internalization via dynamic reward scheduling and length clipping. Across multiple models and benchmarks, our internalized models match or exceed explicit multi-agent debate performance using up to 93% fewer tokens. We then investigate the mechanistic basis of this capability through activation steering, finding that internalization creates agent-specific subspaces: interpretable directions in activation space corresponding to different agent perspectives. We further demonstrate a practical application: by instilling malicious agents into the LLM through internalized debate, then applying negative steering to suppress them, we show that distillation makes harmful behaviors easier to localize and control with smaller reductions in general performance compared to steering base models. Our findings offer a new perspective for understanding multi-agent capabilities in distilled models and provide practical guidelines for controlling internalized reasoning behaviors. Code available at https://github.com/johnsk95/latent_agents
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論を改善するために、マルチエージェントの議論が示されている。 しかし、これは計算集約的であり、質問に答える前に長い書き起こしを生成する必要がある。 この非効率性に対処するために、動的報酬スケジューリングと長さクリッピングによる内部化を併用した2段階の微調整パイプラインを用いて、マルチエージェントの議論を単一のLLMに蒸留するフレームワークを開発する。 複数のモデルとベンチマークで、内部化されたモデルは最大93%のトークンを使用して、明示的なマルチエージェントの議論パフォーマンスにマッチするか、超過します。 次に,アクティベーションステアリング(活性化ステアリング)により,この能力の力学的基礎を解明し,エージェント固有の部分空間を内部化することで,エージェントの視点に応じたアクティベーション空間の解釈可能な方向を生成する。 さらに, 内部的議論を通じて有害物質をLSMに注入し, その抑制に負のステアリングを施すことにより, 蒸留は, ステアリングベースモデルと比較して, 一般的な性能の低下を伴って, 有害な挙動を局所化し制御し易いことを示す。 本研究は, 蒸留モデルにおけるマルチエージェント機能を理解するための新しい視点を提供し, 内部的推論行動を制御するための実践的ガイドラインを提供する。 https://github.com/johnsk95/latent_agentsで利用可能なコード

関連論文リスト

• DLLM Agent: See Farther, Run Faster [94.74432470237817]
  拡散大言語モデル(DLLM)は、自己回帰(AR)デコーディングの代替として、魅力的な効率とモデリング特性を持つ。 我々は、DLLMとARのバックボーンを同一のエージェントワークフロー内でインスタンス化することで、制御された環境でこれを研究する。 DLLMエージェントはARエージェントよりも平均30%以上速く、場合によっては8倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2026-02-07T09:01:18Z)
• AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent [57.10083973844841]
  AgentArkは、マルチエージェントダイナミクスを単一のモデルの重みに蒸留する新しいフレームワークである。 各種モデル,タスク,スケーリング,シナリオの3つの階層的蒸留戦略について検討する。 シミュレーションからトレーニングへ計算の負担をシフトさせることで、蒸留されたモデルは、複数のエージェントの強い推論と自己補正性能を示しながら、一つのエージェントの効率を保ちます。
  論文  参考訳（メタデータ） (2026-02-03T19:18:28Z)
• MADIAVE: Multi-Agent Debate for Implicit Attribute Value Extraction [52.89860691282002]
  インプシット属性値抽出(AVE)は、電子商取引における商品の正確な表現に不可欠である。 マルチモーダル大言語モデル(MLLM)の進歩にもかかわらず、多次元データの複雑さのため暗黙のAVEは依然として困難である。 我々は,複数のMLLMエージェントを用いて推論を反復的に洗練するマルチエージェント討論フレームワークであるtextscmodelnameを紹介する。
  論文  参考訳（メタデータ） (2025-10-07T06:27:42Z)
• Tree of Agents: Improving Long-Context Capabilities of Large Language Models through Multi-Perspective Reasoning [11.045096250408067]
  Tree of Agents(TOA)は、インプットを独立したエージェントによって処理されたチャンクに分割するマルチエージェント推論フレームワークである。 TOAは、エージェントが複数のパースペクティブな理解のために異なる推論順序を探索することを可能にする。 処理効率を向上させるため,プレフィックスハッシュキャッシュと適応型プルーニング戦略を取り入れた。
  論文  参考訳（メタデータ） (2025-09-08T08:34:02Z)
• Distilling LLM Agent into Small Models with Retrieval and Code Tools [65.73762766854192]
  Agent Distillationは、推論能力とタスク解決の振る舞いを大きな言語モデルから小さな言語モデルに移行するためのフレームワークである。 その結果,SLMは0.5B,1.5B,3Bのパラメータで,次世代の1.5B,3B,7Bモデルと競合する性能が得られることがわかった。
  論文  参考訳（メタデータ） (2025-05-23T08:20:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。