論文の概要: Mixture of Complementary Agents for Robust LLM Ensemble

• arxiv url: http://arxiv.org/abs/2605.24048v1
• Date: Thu, 21 May 2026 21:29:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.558471
• Title: Mixture of Complementary Agents for Robust LLM Ensemble
• Title（参考訳）: ロバストLLMアンサンブル用補体剤の混合
• Authors: Yichi Zhang, Kevin Lu, Yuang Zhang, Jie Gao, Lirong Xia, Fang-Yi Yu,
• Abstract要約: 大規模言語モデル(LLM)のアンサンブルや議論のようなマルチAIコラボレーションは、情報収集とパフォーマンス向上のための有望なパラダイムである。 既存のアプローチは、主に正確性(最強のモデルを選ぶ)または多様性(多様性の保証)に焦点を当てています。 我々は、LLMの値が他と相補関係にある特徴選択に類似した選択問題として、提案者選択を再設定する。
• 参考スコア（独自算出の注目度）: 28.210955621253863
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-AI collaboration, such as ensembling or debating large language models (LLMs), is a promising paradigm for aggregating information and boosting performance. A foundational step in these pipelines is to feed the responses of several proposer LLMs into a summarizer LLM, which synthesizes a better answer. However, choosing which proposers to include is non-trivial. Existing approaches primarily focus either on accuracy (picking the strongest models) or diversity (ensuring variety), and often overlook the interactions among proposers and with the summarizer. We reframe proposer selection as a combinatorial selection problem akin to feature selection, where the value of an LLM lies in its complementarity with others. However, directly applying standard feature-selection algorithms is impractical in the LLM setting due to prohibitive time complexity. Motivated by this limitation, we explore an extensive range of computationally feasible, greedy-style selection algorithms that assess complementarity using a small labeled set. Our experiments validate complementarity as a guiding principle for proposer selection and identify methods that achieve the best performance-cost trade-offs in practice.
• Abstract（参考訳）: 大規模言語モデル(LLM)のアンサンブルや議論のようなマルチAIコラボレーションは、情報収集とパフォーマンス向上のための有望なパラダイムである。 これらのパイプラインの基本的なステップは、いくつかの提案者LSMの応答を要約者LSMに供給し、より良い回答を合成することである。 しかし、どのプロジェクタを含めるかは簡単ではない。 既存のアプローチは、主に正確性(最強のモデルを選ぶ)か多様性(多様性を保証する)に焦点を当てており、しばしば提案者と要約者との相互作用を見落としている。 我々は,LLMの値が他と相補関係にあるような特徴選択に類似した組合せ選択問題として提案者選択を再構成する。 しかし、標準特徴選択アルゴリズムを直接適用することは、禁止時間の複雑さのため、LLM設定では現実的ではない。 この制限により、我々は、小さなラベル付き集合を用いて相補性を評価する、計算可能で、欲求的な選択アルゴリズムの幅広い範囲を探索する。 本実験は,提案者選択の指針として補完性を検証し,実際に最高のパフォーマンス・コストのトレードオフを実現する手法を同定する。

関連論文リスト

• LISTEN to Your Preferences: An LLM Framework for Multi-Objective Selection [8.355352653283516]
  LISTENは、Large Language Model(LLM)をゼロショットの選好オラクルとして活用するフレームワークである。 LISTEN-Uは嗜好がパラメトリックに一致している場合に優れ、LISTEN-Tはより堅牢な性能を提供する。 この研究は、複雑な多目的決定を直接自然言語で操るための有望な方向を探究する。
  論文  参考訳（メタデータ） (2025-10-29T03:17:37Z)
• Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information [57.397381631496906]
  最適重み(OW)と逆サプライシング人気度(ISP)という2つの新しいアグリゲーションアルゴリズムを開発した。 我々の理論的分析は、これらの手法が軽微な仮定の下での多数決の本質的な制限を確実に緩和することを示している。 我々は,我々のアルゴリズムを人工データセット,UltraFeedbackやMMLUなどのLLMファインチューニングベンチマーク,実世界の医療環境ARMMAN上で実証的に検証した。
  論文  参考訳（メタデータ） (2025-10-01T22:21:50Z)
• Rethinking LLM-Based Recommendations: A Personalized Query-Driven Parallel Integration [22.650609670923732]
  本稿では,大規模言語モデルを候補選択から切り離す並列レコメンデーションフレームワークを提案する。 我々のフレームワークはLLMとレコメンデーションモデルを並列に結合し、各コンポーネントが独立してその強みを活用できるようにする。
  論文  参考訳（メタデータ） (2025-04-16T09:17:45Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
  大規模言語モデル(LLM)は、様々なアプリケーションにまたがる顕著な性能のために広く採用されている。 これらの個々のLCMは、固有のトレーニングバイアス、モデルサイズ制約、トレーニング前のデータセットの品質や多様性による、複雑なタスクの一般化とパフォーマンスの制限を示す。 本稿では,入力クエリをLLMの最も適切なサブセットに効率的に誘導するSelectLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T06:11:21Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• Federated Neuro-Symbolic Learning [39.04545654772026]
  FL通信媒体として潜伏変数を用いたFedNSL(Federated Neuro-Symbolic Learning framework)を提案する。 FedNSLは、単純で効果的なKullback-Leibler(KL)分散制約によって規則分布を特定し、対処することができる。 合成データと実世界のデータに基づく大規模な実験は、5つの最先端手法と比較して、FedNSLの顕著な優位性を示している。
  論文  参考訳（メタデータ） (2023-08-29T14:20:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。