論文の概要: SMAGDi: Socratic Multi Agent Interaction Graph Distillation for Efficient High Accuracy Reasoning

• arxiv url: http://arxiv.org/abs/2511.05528v1
• Date: Wed, 29 Oct 2025 04:05:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-16 06:38:31.019416
• Title: SMAGDi: Socratic Multi Agent Interaction Graph Distillation for Efficient High Accuracy Reasoning
• Title（参考訳）: SMAGDi: 高精度推論のためのソクラティック多剤相互作用グラフ蒸留
• Authors: Aayush Aluru, Myra Malik, Samarth Patankar, Spencer Kim, Kevin Zhu, Sean O'Brien, Vasu Sharma,
• Abstract要約: SMAGDiは,5歳以上のラマ系MASの議論力学を,コンパクトなソクラティック・デコンポサ・ソルバの学生に伝達するフレームワークである。 StrategyQAとMMLUでは、SMAGDiは40Bのマルチエージェントシステムを6Bの学生に圧縮し、精度の88%を維持している。
• 参考スコア（独自算出の注目度）: 7.754609745940422
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent systems (MAS) often achieve higher reasoning accuracy than single models, but their reliance on repeated debates across agents makes them computationally expensive. We introduce SMAGDi, a distillation framework that transfers the debate dynamics of a five-agent Llama-based MAS into a compact Socratic decomposer-solver student. SMAGDi represents debate traces as directed interaction graphs, where nodes encode intermediate reasoning steps with correctness labels and edges capture continuity and cross-agent influence. The student is trained with a composite objective combining language modeling, graph-based supervision, contrastive reasoning, and embedding alignment to preserve both fluency and structured reasoning. On StrategyQA and MMLU, SMAGDi compresses a 40B multi-agent system into a 6B student while retaining 88% of its accuracy, substantially outperforming prior distillation methods such as MAGDi, standard KD, and fine-tuned baselines. These results highlight that explicitly modeling interaction graphs and Socratic decomposition enable small models to inherit the accuracy benefits of multi-agent debate while remaining efficient enough for real-world deployment.
• Abstract（参考訳）: マルチエージェントシステム(MAS)は単一モデルよりも高い推論精度を達成することが多いが、エージェント間の議論の繰り返しに依存するため、計算コストがかかる。 SMAGDiは, 5歳児のラマ系MASをコンパクトなソクラティック・デコンポサ・ソルバ系学生に伝達する蒸留フレームワークである。 SMAGDiは、ノードが正しさラベルとエッジを持つ中間推論ステップをエンコードし、連続性とクロスエージェントの影響をキャプチャする、双方向の相互作用グラフとして、議論のトレースを表現している。 この学生は、言語モデリング、グラフベースの監督、対照的な推論、および埋め込みアライメントを組み合わせた複合目的を訓練し、流感と構造的推論の両方を保存する。 戦略QAとMMLUでは、SMAGDiは40Bのマルチエージェントシステムを6Bの学生に圧縮し、その精度は88%を維持し、MAGDi、標準KD、微調整ベースラインなどの先行蒸留法よりも大幅に優れている。 これらの結果は、相互作用グラフとソクラティック分解を明示的にモデル化することで、小規模モデルは実世界のデプロイに十分な効率を維持しながら、マルチエージェントの議論の精度上の利点を継承できることを示している。

関連論文リスト

• GAM-Agent: Game-Theoretic and Uncertainty-Aware Collaboration for Complex Visual Reasoning [9.24980723036746]
  GAM-Agentは、視覚言語推論を強化するためのゲーム理論のマルチエージェントフレームワークである。 基本エージェント間の非ゼロサムゲームとして推論過程を定式化し、視覚的知覚サブタスクを専門とするゲームと、論理的一貫性と事実的正確性を検証する重要なエージェントを定式化する。 我々のアプローチはモジュール化され、スケーラブルで、一般化可能であり、信頼性と説明可能なマルチエージェントのマルチモーダル推論への道筋を提供する。
  論文  参考訳（メタデータ） (2025-05-29T12:37:34Z)
• Structured Agent Distillation for Large Language Model [56.38279355868093]
  本研究では,LLMをベースとした大規模エージェントを小さな学生モデルに圧縮するフレームワークであるStructured Agent Distillationを提案する。 提案手法は, [REASON] と [ACT] にトラジェクトリを分割し, 各コンポーネントを教師の行動に合わせるためにセグメント特異的な損失を適用した。 ALFWorld、HotPotQA-ReAct、WebShopの実験は、我々のアプローチがトークンレベルと模倣学習のベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-20T02:01:55Z)
• Active Data Curation Effectively Distills Large-Scale Multimodal Models [66.23057263509027]
  知識蒸留(KD)は、大規模モデルをより小さなものに圧縮するデファクトスタンダードである。 本研究では, 対照的なマルチモーダル事前学習のための効果的な蒸留法として, 能動的データキュレーションの代替として, 簡単なアプローチを探求する。 我々の単純なオンラインバッチ選択方法であるACIDは、さまざまなモデル、データ、計算構成において、強力なKDベースラインよりも優れています。
  論文  参考訳（メタデータ） (2024-11-27T18:50:15Z)
• DARA: Decomposition-Alignment-Reasoning Autonomous Language Agent for Question Answering over Knowledge Graphs [70.54226917774933]
  本稿では,DARA(Decomposition Alignment-Reasoning Agent)フレームワークを提案する。 DARAは2つのメカニズムを通じて、質問を形式的なクエリに効果的に解析する。 我々は,DARAがKGQAの最先端列挙およびランク付けに基づく手法に匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-06-11T09:09:37Z)
• MAGDi: Structured Distillation of Multi-Agent Interaction Graphs Improves Reasoning in Smaller Language Models [61.479419734006825]
  我々は,複数言語モデル (LLM) エージェント間の推論相互作用をより小さなLMに構造化した新しい蒸留法であるMAGDiを紹介する。 7つの広く使われているコモンセンスおよび数学推論ベンチマークの実験は、MAGDiがより小さなモデルの推論能力を改善することを示している。 我々は、MAGDiが領域外タスクの一般化性を高め、基礎となる学生モデルのサイズと強度に正にスケールし、自己整合性を適用する際により大きな改善をもたらすことを示すため、広範囲な分析を行った。
  論文  参考訳（メタデータ） (2024-02-02T18:35:14Z)
• CascadER: Cross-Modal Cascading for Knowledge Graph Link Prediction [22.96768147978534]
  本稿では,効率を向上しつつ,完全アンサンブルのランキング精度を維持するための階層型ランキングアーキテクチャCascaderを提案する。 CascadER は LM を用いて、より効率的な KGE の出力を再現し、KGE の精度向上を最大化しつつ、LM を最小限に呼び出すための適応的なサブセット選択方式に依存している。 実験により, モデル間の多様性と個々のモデルの信頼性信号の保存がカスケーダの有効性を説明するのに有効であることがわかった。
  論文  参考訳（メタデータ） (2022-05-16T22:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。