論文の概要: Multi-LLM Collaborative Alignment via Stackelberg Games

• arxiv url: http://arxiv.org/abs/2609.39076v2
• Date: Tue, 06 Oct 2026 23:41:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.316785
• Title: Multi-LLM Collaborative Alignment via Stackelberg Games
• Title（参考訳）: Stackelberg GamesによるマルチLLM協調アライメント
• Abstract要約: 言語モデルのプールは、お互いの反応から学習することで、協力し、一括して改善することができる。 命令選択を適応的なカリキュラムに変換するフレームワークであるStackelberg Alignmentを提案する。
• 参考スコア（独自算出の注目度）: 49.587724080253786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A pool of language models can collaborate and improve collectively by learning from one another's responses. These interactions depend on the instructions used during training. Existing methods typically sample instructions uniformly, even though their usefulness may change as the models improve: an instruction on which models' responses once differed in quality may later be answered equally well, while a previously difficult instruction may begin to provide a useful learning signal. We propose Stackelberg Alignment, a game-theory-inspired leader-follower framework that turns instruction selection into an adaptive curriculum. An EXP3 bandit acts as the leader, allocating a fixed sampling budget across instructions and updating its sampling distribution using a reward that combines instruction difficulty and response discriminability. The language models act as followers: they respond to the selected instructions, evaluate one another's responses, and learn from the resulting preference signals through DPO or GRPO. The framework uses Elo-style reputation-weighted peer judgment and reputation-based opponent matching to support reliable and competitive model interactions. Experiments across three heterogeneous model pools and 12 benchmarks spanning scientific discovery, reasoning, code, instruction following, and knowledge show that Stackelberg Alignment achieves the highest macro-average across three diverse model pools, outperforming the strongest training-time baseline by up to 7.4% and the best static inference baseline by 12-25%. Analysis confirms that the adaptive leader concentrates duels on the most informative instructions, and ablations show that both reputation-weighted judgment and reputation-based matching improve the effectiveness of multi-LLM evolution.
• Abstract（参考訳）: 言語モデルのプールは、お互いの反応から学習することで、協力し、一括して改善することができる。 これらの相互作用は、トレーニング中に使用される命令に依存する。 既存の手法では、モデルの改善に伴って有用性が変化しても、一様にサンプル命令をサンプリングするのが一般的である。 ゲーム理論に着想を得たリーダーフォロワーフレームワークであるStackelberg Alignmentを提案する。 EXP3バンドはリーダーとして機能し、命令間で一定のサンプリング予算を割り当て、命令難易度と応答判別性を組み合わせた報酬を用いてサンプリング分布を更新する。 言語モデルは、選択された指示に反応し、互いの反応を評価し、DPOまたはGRPOを介して結果の選好信号から学習する。 このフレームワークは、Eloスタイルの評判重視のピア判断と評価に基づく対戦相手マッチングを使用して、信頼性と競争力のあるモデルインタラクションをサポートする。 3つの異種モデルプールと12のベンチマークで科学的な発見、推論、コード、命令の追従、知識にまたがる実験により、Stackelberg Alignmentは3つのモデルプールで最高のマクロ平均を達成し、最強のトレーニングタイムベースラインを最大7.4%、最高の静的推論ベースラインを12-25%上回った。 分析の結果,適応的リーダは最も有意義な指示に集中していることが確認され,評価重み付け判定と評価に基づくマッチングがマルチLLM進化の有効性を向上させることが示唆された。

関連論文リスト

• OPOD: On-Policy Omni Distillation [55.440058537827134]
  プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。 本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。 OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
  論文  参考訳（メタデータ） (2026-07-23T04:55:04Z)
• Consensus as Privileged Context for Label-Free Self-Distillation [12.523025093871304]
  CANON(Consensus-Anchored Self-distillation)は、コンセンサスを密集したトークンレベルの監視に転換するラベルフリーのトレーニング手法である。 CanONはpass@1を最大12ポイント改善し、ラベルなしの強化学習を計算の7分の1で6ポイント上回る。
  論文  参考訳（メタデータ） (2026-07-15T09:39:32Z)
• Reinforce to Learn, Elect to Reason: A Dual Paradigm for Video Reasoning [17.78591587115095]
  Reinforce to Learn, Elect to Reason (RLER) は、信頼できる回答から証拠を得るために学習を分離する二重パラダイムである。 RLERはすべてのベンチマークで最先端を達成し、ベースモデルよりも平均6.3%改善されている。
  論文  参考訳（メタデータ） (2026-04-06T03:01:52Z)
• When Models Judge Themselves: Unsupervised Self-Evolution for Multimodal Reasoning [30.162034423611292]
  マルチモーダル推論のための教師なし自己進化学習フレームワークを提案する。 ヒューマンアノテートされた回答や外部報酬モデルを用いることなく、安定したパフォーマンス向上を実現する。 提案手法は5つの数学的推論ベンチマークにおける推論性能と一般化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-03-22T15:22:19Z)
• SPARTA ALIGNMENT: Collectively Aligning Multiple Language Models through Combat [76.48873047003943]
  SPARTA ALIGNMENT(SPARTA ALIGNMENT)を提案する。 各イテレーションにおいて、1つの命令と2つのモデルがデュエルのために選択され、他のモデルが2つのレスポンスを評価し、それらの評価スコアは、適応されたエロランクベースの評価システムを介して集約される。 ピア評価された戦闘結果は、敗戦よりも勝利の反応が優先される選好ペアとなり、各イテレーションの最後にこれらの選好からすべてのモデルが学習される。
  論文  参考訳（メタデータ） (2025-06-05T07:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。