論文の概要: Which Models Work Well Together? Measuring Heterogeneity for LLM Team Selection
- arxiv url: http://arxiv.org/abs/2609.38274v1
- Date: Tue, 29 Sep 2026 15:30:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.467161
- Title: Which Models Work Well Together? Measuring Heterogeneity for LLM Team Selection
- Title(参考訳): どのモデルがうまく連携するか : LLMチーム選択のための不均一性の測定
- Abstract要約: 2つの相補的な信号とともに、個々の能力を特徴付けるオフラインプロファイリングを行うチーム選択フレームワークを提案する。
我々は、チーム選択を標準化された品質補完目標として定式化し、候補プールから小さなチームを選択するために効率的な探索を適用する。
- 参考スコア(独自算出の注目度): 23.284129528142056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The performance ceiling of an LLM team is constrained not only by individual model capabilities, but also by inter-member error resonance and predictive differences. Although heterogeneous teaming is often observed to be effective in practice, existing approaches lack complementarity metrics that are computable, interpretable, and optimizable, leaving team composition to rely on heuristics. We propose a heterogeneity-driven team selection framework that performs offline profiling to characterize individual capability along with two complementary signals: one captures decorrelation in error patterns to reduce co-failures, while the other measures divergence in predictive behavior to capture strategy diversity. We formulate team selection as a standardized quality--complementarity combinatorial objective and apply an efficient greedy search to select a small team from a candidate pool. Experiments across multiple benchmarks demonstrate that our framework consistently outperforms quality-only baselines under controlled candidate pools and team sizes, establishing reusable selection principles for multi-LLM systems.
- Abstract(参考訳): LLMチームのパフォーマンス天井は、個々のモデル能力だけでなく、メンバー間のエラー共鳴や予測上の違いによって制約される。
ヘテロジニアスなチーム編成は実際は効果的であるとしばしば見なされるが、既存のアプローチでは計算可能、解釈可能、最適化可能な相補的なメトリクスが欠如しており、チーム構成はヒューリスティックに頼っている。
本稿では,非均一性に基づくチーム選択フレームワークを提案する。このフレームワークはオフラインプロファイリングによって個々の能力と2つの相補的なシグナルを特徴付ける。一方はエラーパターンのデコリレーションを捉え,共障害を低減する。
我々は、チーム選択を標準化された品質-補完的な組み合わせの目的として定式化し、効率的な欲求探索を適用して、候補プールから小さなチームを選択する。
複数のベンチマークの実験により、我々のフレームワークは、制御された候補プールとチームサイズの下で品質のみのベースラインを一貫して上回り、マルチLLMシステムの再利用可能な選択原則を確立します。
関連論文リスト
- You're Hired: Strategic Model Selection for LLM Collaboration [50.666814272202224]
本稿では,モデル記述の多様性,能力を考慮した行動多様性,LLMに基づく採用者など,9つの選抜アルゴリズムの分類法を提案する。
10モデルと32モデルの2つの候補プールにまたがって実験を行い、4つのモデルコラボレーションアルゴリズムで展開し、数学、コーディング、QA、推論にまたがるタスクで評価する。
論文 参考訳(メタデータ) (2026-09-30T02:44:01Z) - Harnessing the Wisdom of LLM Crowds through Complementarity-Driven Iterative Collaboration [7.252833168419753]
大規模言語モデル(LLM)はますますエンタープライズ環境にデプロイされているが、個々のモデルはモデル固有の機能制限によって制限される。
2つの設計原理に基づくフレームワークWILC (Wisdom Integration of LLM Crowds)を提案する。
WilCは、GPT-5.2の平均ベンチマーク性能を、クエリ毎の約7倍のコストで比較している。
論文 参考訳(メタデータ) (2026-07-31T07:13:59Z) - Wisdom and Delusion of LLM Ensembles for Code Generation and Repair [45.969630994412846]
3つのソフトウェアエンジニアリングベンチマークで10個の大規模言語モデルと3つのLLMのアンサンブルを比較した。
アンサンブルのパフォーマンスの理論的上限は、最高のシングルモデルよりも83%高いことが判明した。
多様性に基づく戦略は、この理論ポテンシャルの最大95%を実現し、小さな2モデルアンサンブルでも有効であることを示す。
論文 参考訳(メタデータ) (2025-10-24T14:39:23Z) - MEL: Multi-level Ensemble Learning for Resource-Constrained Environments [1.59297928921015]
我々は、弾力性のあるエッジ推論のための新しいフレームワーク、Mel(Multi-Level Ensemble Learning)を提案する。
MELは、複数のサーバが利用可能で、独立して障害下で、協調動作可能な複数の軽量バックアップモデルをトレーニングする。
視覚、言語、オーディオデータセットにわたる経験的評価は、MELが元のアーキテクチャに匹敵するパフォーマンスを提供することを示している。
論文 参考訳(メタデータ) (2025-06-25T02:33:57Z) - Offline Multi-agent Reinforcement Learning via Score Decomposition [51.23590397383217]
オフライン協調型マルチエージェント強化学習(MARL)は、分散シフトによる固有の課題に直面している。
この作業は、オフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の作業である。
論文 参考訳(メタデータ) (2025-05-09T11:42:31Z) - Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。
制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。
本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
論文 参考訳(メタデータ) (2025-03-27T17:34:25Z) - Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。
個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。
数発のステアライメントのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-18T16:14:59Z) - Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。
グループDROフレームワークをQ-Diversityを提案して再構築する。
インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
論文 参考訳(メタデータ) (2023-05-20T07:02:27Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳(メタデータ) (2021-06-14T05:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。