論文の概要: Improving LLM Collaboration via Multi-Agent Preference Learning

• arxiv url: http://arxiv.org/abs/2609.32827v1
• Date: Sat, 26 Sep 2026 17:54:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 19:55:57.683628
• Title: Improving LLM Collaboration via Multi-Agent Preference Learning
• Title（参考訳）: マルチエージェント推論学習によるLLMコラボレーションの改善
• Abstract要約: 我々は、分散的かつ集中的なコラボレーションの観点から、嗜好ベースのマルチエージェントシステム(MAS)を定式化する。 人間のフィードバック(MARLHF)からMARLを用いたMAPLを学習報酬モデルとマルチエージェント直接選好最適化(MADPO)を用いてインスタンス化する。 共同執筆、コーディング、ツールの使用、旅行計画の実験は、MAPLがMARLのパフォーマンスにアプローチしながら、よく定義された報酬でコラボレーションの品質と効率を改善することができることを示している。
• 参考スコア（独自算出の注目度）: 11.375009887852185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several works have explored multi-agent reinforcement learning (MARL) in LLM collaboration. However, constructing reliable rewards is difficult in practice, as complete and accurate metrics are often unavailable and hard to aggregate. Preference learning provides an alternative by learning from comparative human or AI feedback. Yet, its extension to multi-agent systems remains underexplored. To address this gap, we formulate preference-based multi-agent systems (MAS) from decentralized and centralized collaboration perspectives. We also introduce a general multi-agent preference learning framework (MAPL) to solve these problems. MAPL allows iterative updates by comparing the current solution with decentralized or centralized solutions generated by various agents. We instantiate MAPL using MARL from human feedback (MARLHF) with a learned reward model and multi-agent direct preference optimization (MADPO). Experiments on collaborative writing, coding, tool use, and travel planning show that MAPL can improve collaboration quality and efficiency while approaching the performance of MARL with fixed, well-defined rewards. Within MAPL, MARLHF generally outperforms MADPO on most tasks but remains sensitive to data coverage, agent and comparator models, and the underlying MARL algorithms.
• Abstract（参考訳）: LLMコラボレーションにおけるマルチエージェント強化学習(MARL)の研究がいくつか行われている。 しかし、完全な正確なメトリクスがしばしば利用できなくなり、集約しにくいため、信頼性の高い報酬を構築することは実際は困難である。 優先度学習は、人間やAIのフィードバックから学ぶことで、代替手段を提供する。 しかし、マルチエージェントシステムへの拡張はまだ未定である。 このギャップに対処するために、我々は、分散的かつ集中的なコラボレーションの観点から、嗜好ベースのマルチエージェントシステム(MAS)を定式化する。 また、これらの問題を解決するために、一般的なマルチエージェント選好学習フレームワーク(MAPL)も導入する。 MAPLは、現在のソリューションと、さまざまなエージェントによって生成される分散あるいは集中型のソリューションを比較することで、反復的な更新を可能にする。 人間のフィードバック(MARLHF)からMARLを用いたMAPLを学習報酬モデルとマルチエージェント直接選好最適化(MADPO)を用いてインスタンス化する。 共同執筆、コーディング、ツールの使用、旅行計画の実験は、MAPLがMARLのパフォーマンスにアプローチしながら、よく定義された報酬でコラボレーションの品質と効率を改善することができることを示している。 MAPLでは、MARLHFは一般的にほとんどのタスクにおいてMADPOよりも優れるが、データカバレッジ、エージェントとコンパレータモデル、基礎となるMARLアルゴリズムに敏感である。

関連論文リスト

• Learning to Communicate Locally for Large-Scale Multi-Agent Pathfinding [48.1609560841622]
  本稿では,効率的な特徴共有を通じてエージェント間の協調を強化するための学習可能な通信モジュールを提案する。 提案手法は既存の学習ベースMAPFソルバよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-05-08T12:05:08Z)
• LLM Collaboration With Multi-Agent Reinforcement Learning [11.369273830547316]
  我々は,MARL(Multi-Agent Reinforcement Learning)問題を解決するために,マルチエージェント・マルチターンアルゴリズム,Multi-Agent Group Relative Policy Optimization (MAGRPO)を開発した。 筆者らは,MAGRPOを用いた微調整MASにおいて,効率的な協調による高品質な応答を効率的に生成できることを実証した。
  論文  参考訳（メタデータ） (2025-08-06T17:18:25Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• Dynamic Optimizations of LLM Ensembles with Two-Stage Reinforcement Learning Agents [31.341487297459995]
  本稿では,LLMをルートおよびアンサンブルする2段階のRLエージェントフレームワークであるRL-Focalを紹介する。 焦点多様性により、報酬意識と政策適応型アンサンブル選択と推論融合を効果的に促進することにより、タスク間のパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2025-02-06T20:44:26Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• MARLlib: A Scalable and Efficient Multi-agent Reinforcement Learning Library [82.77446613763809]
  本稿では,マルチエージェントタスクとアルゴリズムの組み合わせを高速に開発するためのライブラリであるMARLlibを紹介する。 MARLlibは、マルチエージェントタスクとアルゴリズムの学習過程を効果的に切り離すことができる。 ライブラリのソースコードはGitHubで公開されている。
  論文  参考訳（メタデータ） (2022-10-11T03:11:12Z)
• Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
  協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。 本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
  論文  参考訳（メタデータ） (2021-09-22T10:08:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。