論文の概要: Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information

• arxiv url: http://arxiv.org/abs/2510.01499v1
• Date: Wed, 01 Oct 2025 22:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.892744
• Title: Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information
• Title（参考訳）: 多数投票を超えて - 高次情報の活用によるLLM集約
• Authors: Rui Ai, Yuqi Pan, David Simchi-Levi, Milind Tambe, Haifeng Xu,
• Abstract要約: 最適重み(OW)と逆サプライシング人気度(ISP)という2つの新しいアグリゲーションアルゴリズムを開発した。 我々の理論的分析は、これらの手法が軽微な仮定の下での多数決の本質的な制限を確実に緩和することを示している。 我々は,我々のアルゴリズムを人工データセット,UltraFeedbackやMMLUなどのLLMファインチューニングベンチマーク,実世界の医療環境ARMMAN上で実証的に検証した。
• 参考スコア（独自算出の注目度）: 57.397381631496906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid progress of multi-agent large language model (LLM) reasoning, how to effectively aggregate answers from multiple LLMs has emerged as a fundamental challenge. Standard majority voting treats all answers equally, failing to consider latent heterogeneity and correlation across models. In this work, we design two new aggregation algorithms called Optimal Weight (OW) and Inverse Surprising Popularity (ISP), leveraging both first-order and second-order information. Our theoretical analysis shows these methods provably mitigate inherent limitations of majority voting under mild assumptions, leading to more reliable collective decisions. We empirically validate our algorithms on synthetic datasets, popular LLM fine-tuning benchmarks such as UltraFeedback and MMLU, and a real-world healthcare setting ARMMAN. Across all cases, our methods consistently outperform majority voting, offering both practical performance gains and conceptual insights for the design of robust multi-agent LLM pipelines.
• Abstract（参考訳）: マルチエージェント大規模言語モデル(LLM)推論の急速な進歩により、複数のLLMからの回答を効果的に集約する方法が根本的な課題として浮上した。 標準多数決は全ての答えを等しく扱い、不均一性やモデル間の相関を考慮していない。 本研究では, 最適重み(OW)と逆サプライシング人気度(ISP)という2つの新しいアグリゲーションアルゴリズムを設計し, 1次情報と2次情報の両方を活用する。 我々の理論的分析は、これらの手法が穏やかな仮定の下で多数決の固有の制限を確実に緩和し、より信頼性の高い集団決定につながることを示している。 我々は,我々のアルゴリズムを人工データセット,UltraFeedbackやMMLUなどのLLMファインチューニングベンチマーク,実世界の医療環境ARMMAN上で実証的に検証した。 いずれの場合も,我々の手法は多数決を一貫して上回り,ロバストなマルチエージェントLLMパイプラインの設計において,実用的な性能向上と概念的洞察を提供する。

関連論文リスト

• Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs [102.48588475875749]
  本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。 GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。 提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-08-27T06:51:48Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
  大規模言語モデル(LLM)は、様々なアプリケーションにまたがる顕著な性能のために広く採用されている。 これらの個々のLCMは、固有のトレーニングバイアス、モデルサイズ制約、トレーニング前のデータセットの品質や多様性による、複雑なタスクの一般化とパフォーマンスの制限を示す。 本稿では,入力クエリをLLMの最も適切なサブセットに効率的に誘導するSelectLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T06:11:21Z)
• Automated Multi-level Preference for MLLMs [41.72392895643214]
  「現在のマルチモーダル大言語モデル(MLLM)は幻覚に苦しむ」 有望な道の1つは、人間からのフィードバック(RLHF)からの強化学習を利用することである。 二項選好(上等、下等)の一般的な実践を再考し、多水準選好を採用する方が2つの利点があることを示す。
  論文  参考訳（メタデータ） (2024-05-18T03:49:37Z)
• Are More LLM Calls All You Need? Towards Scaling Laws of Compound Inference Systems [76.69936664916061]
  LM呼び出し回数がVotteとFilter-Voteのパフォーマンスに与える影響について検討する。 意外なことに、複数の言語タスクにおいて、VoteとFilter-Voteの両方のパフォーマンスは、まず増大するが、LM呼び出しの回数の関数として減少する可能性がある。
  論文  参考訳（メタデータ） (2024-03-04T19:12:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。