論文の概要: Wisdom of LLM Crowds: Aggregation and Contamination in Language Model Ensembles

• arxiv url: http://arxiv.org/abs/2607.18269v2
• Date: Wed, 22 Jul 2026 22:30:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.099298
• Title: Wisdom of LLM Crowds: Aggregation and Contamination in Language Model Ensembles
• Title（参考訳）: LLM集団の知恵:言語モデルアンサンブルにおける集団化と汚染
• Abstract要約: 集団の知恵 — 個人間での集団判断が、最高の個人を上回ることがしばしばある — は、ヒトの予測者によって広く研究されている。 15の大規模言語モデル (LLM) から254のバイナリ予測市場質問に対して確率推定を行った。 LLMの精度は大幅に低下し、集団情報収集の真のギャップが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The wisdom of crowds -- the finding that aggregating judgments across individuals often outperforms the best individual -- has been extensively studied with human forecasters. Whether the same phenomenon emerges when the ``crowd'' consists of large language models (LLMs) is an open question with both theoretical and practical implications. We elicited probability estimates from 15 LLMs on 254 binary prediction market questions and evaluated classical and learned aggregation methods. Learned aggregators -- a multilayer perceptron and a logistic regression -- outperformed all individual models and classical methods. The logistic regression was found to match the neural network, suggesting that the benefit of learned aggregation derives from learning a linear combination of diverse model outputs rather than from nonlinear interactions. Symbolic regression applied to the neural network's learned mapping recovered a pure model-disagreement signal as the lowest-complexity useful formula on the Pareto frontier, further supporting this interpretation. Training cutoff contamination proved a pervasive confound: the apparent capability gap between frontier cloud models and smaller local models collapsed from 35.8% to 8.9% on a clean subset of questions resolving after all models' training cutoffs, and individual model rankings showed only moderate stability. Even when the prediction market is evaluated at each model's training cutoff, LLMs remained substantially less accurate, indicating a genuine gap in collective information aggregation. These findings suggest that LLM crowds can exhibit wisdom-of-crowds effects, but that contamination-free evaluation is essential for reliable assessment.
• Abstract（参考訳）: 集団の知恵 — 個人間での集団判断が、最高の個人を上回ることがしばしばある — は、ヒトの予測者によって広く研究されている。 同じ現象が 'crowd' が大きな言語モデル (LLMs) で構成されているのかどうかは、理論的および実践的両方の意味を持つオープンな問題である。 我々は,254の2進予測市場質問に対する15 LLMの確率推定を行い,古典的および学習的集約手法の評価を行った。 学習されたアグリゲータ - 多層パーセプトロンとロジスティック回帰 - は、すべての個々のモデルと古典的手法より優れていた。 このロジスティック回帰はニューラルネットワークと一致することが判明し、学習された集約の利点は、非線形相互作用ではなく、多様なモデル出力の線形結合を学習することに由来することが示唆された。 ニューラルネットワークの学習マッピングに適用されたシンボリックレグレッションは、パレートフロンティアの最低複素性有用な公式として純粋なモデル分離信号を取り戻し、この解釈をさらに支持した。 フロンティアクラウドモデルと小さなローカルモデルの間の明らかな能力ギャップは、全てのモデルのトレーニングカットオフ後に解決される質問のクリーンサブセットで35.8%から8.9%に崩壊し、個々のモデルランキングは適度な安定性しか示さなかった。 各モデルのトレーニングカットオフで予測市場が評価されたとしても,LSMの精度は著しく低下し,集団情報収集の真のギャップが示唆された。 以上の結果から, LLM群集は群集の知恵を発揮できるが, 汚染のない評価は信頼性の高い評価に不可欠であることが示唆された。

関連論文リスト

• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• Toward Reliable Machine Unlearning: Theory, Algorithms, and Evaluation [1.7767466724342065]
  本稿では,SOTA MIAスコアに基づく画像分類の最先端手法を超越したAdrial Machine UNlearning(AMUN)を提案する。 既存の手法は、最寄りの会員推定攻撃(MIA-NN)を導入して、再訓練されたモデルの動作を再現できないことを示す。 そこで我々は,スクラッチから再学習したモデルが生成する残りのクラスに対する分布を,クラス入力に対して近似することで,このリークを緩和する微調整対象を提案する。
  論文  参考訳（メタデータ） (2025-12-07T20:57:25Z)
• The Hidden Link Between RLHF and Contrastive Learning [56.45346439723488]
  RLHF(Reinforcement Learning from Human Feedback)とDPO(Simple Direct Preference Optimization)は相互情報(MI)の観点から解釈可能であることを示す。 このフレームワーク内では、RLHFとDPOの両方を、ベースモデルから派生した正と負のサンプルに基づいて対照的な学習を行う方法として解釈することができる。 そこで本稿では,DPO で観測される選択的傾向の後期的低下を軽減するための相互情報最適化 (MIO) を提案する。
  論文  参考訳（メタデータ） (2025-06-27T18:51:25Z)
• Dissecting Long-Chain-of-Thought Reasoning Models: An Empirical Study [91.78803511141975]
  この研究は、強化学習のスケーリングにおける正と負のサンプルの役割に焦点を当てている。 グループ相対的政策最適化において、サンプルの半数以上がゼロの優位性を持つような実質的なデータ非効率性を同定する。 本研究では,様々な推論モデルとベンチマークの不安定な性能について検討し,不明瞭な結果を伴う不確実な問題に対する不安定性について考察した。
  論文  参考訳（メタデータ） (2025-06-05T11:47:10Z)
• U-aggregation: Unsupervised Aggregation of Multiple Learning Algorithms [4.871473117968554]
  新人口の強化とロバスト化のための教師なしモデルアグリゲーション手法U-アグリゲーションを提案する。 既存の教師付きモデルアグリゲーションや超学習者アプローチとは異なり、U-アグリゲーションは対象人口の観測されたラベルや成果を仮定しない。 複雑な形質の遺伝的リスク予測を高めるために,U凝集を用いた実世界の応用の可能性を示す。
  論文  参考訳（メタデータ） (2025-01-30T01:42:51Z)
• Quantifying the Prediction Uncertainty of Machine Learning Models for Individual Data [2.1248439796866228]
  本研究では,線形回帰とニューラルネットワークに対するpNMLの学習可能性について検討する。 pNMLは様々なタスクにおけるこれらのモデルの性能と堅牢性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-12-10T13:58:19Z)
• Investigating the Impact of Model Complexity in Large Language Models [3.7919508292745676]
  事前訓練された微調整パラダイムに基づく大規模言語モデル(LLM)は、自然言語処理タスクの解決において重要な役割を担っている。 本稿では,自己回帰 LLM に着目し,HMM (Hidden Markov Models) を用いたモデリングを提案する。
  論文  参考訳（メタデータ） (2024-10-01T13:53:44Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• From Reactive to Proactive Volatility Modeling with Hemisphere Neural Networks [0.0]
  我々は,新しいニューラルネットワークアーキテクチャを用いて,マクロ経済密度予測のための最大推定値(MLE)を再活性化する。 ヘミスフィアニューラルネットワーク(HNN)は、可能時の主指標に基づく積極的なボラティリティ予測と、必要時の過去の予測誤差の大きさに基づく反応性ボラティリティ予測を提供する。
  論文  参考訳（メタデータ） (2023-11-27T21:37:50Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。