論文の概要: Two Heads Are Better Than One: Aggregating Weaker LLMs for Better Forecasts

• arxiv url: http://arxiv.org/abs/2609.33257v1
• Date: Sun, 27 Sep 2026 05:59:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 01:47:57.434607
• Title: Two Heads Are Better Than One: Aggregating Weaker LLMs for Better Forecasts
• Title（参考訳）: 2つの頭は1つよりマシ:より優れた予測のためにウェイカーのLSMを集約する
• Abstract要約: 大規模言語モデル(LLM)は、現実の出来事を予測するためにますます使われるが、最強の個人予測モデルへのアクセスにはコストがかかるか制約がある。 我々は16個の比較群で70個のLSM予測器を評価し、それぞれ1000以上の共有サブクエストを持ち、1,121個の弱いモデルペアを得た。 学習された線形プールは16グループ中11グループで最強の個人と一致または上回り、全16グループでブリアスコアの5%以内となる弱いペアを識別する。
• 参考スコア（独自算出の注目度）: 10.47440769791234
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large language models (LLMs) are increasingly used to forecast real-world events, but access to the strongest individual forecaster may be costly or otherwise constrained. We study weak-to-strong forecast aggregation: can individually weaker LLM forecasters be aggregated to outperform a stronger forecaster? Using ForecastBench (Karger et al., 2025), we evaluate 70 LLM forecasters across 16 comparison groups, each with more than 1,000 shared subquestions, yielding 1,121 weaker-model pairs. Within each group, we identify the strongest individual by test Brier score and evaluate aggregates composed exclusively of weaker forecasters, with aggregation weights learned on separate training data. We find substantial evidence of weak-to-strong improvement. Learned linear pooling identifies a weaker pair that matches or outperforms the strongest individual in 11 of 16 groups and comes within 5% of its Brier score in all 16 groups. We also find that these improvements do not rely on having a near-best constituent and are generally accompanied by good calibration. Additional analyses show that adding more models does not consistently improve performance, and competitive weaker-model aggregates also remain available under practical constraints.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現実の出来事を予測するためにますます使われるが、最強の個人予測モデルへのアクセスにはコストがかかるか制約がある。 より弱いLSM予測器は、より強力な予測器を上回るように、個別に弱い予測器を集約できるか? ForecastBench (Karger et al , 2025)を用いて、16個の比較群で70個のLLM予測器をそれぞれ1000以上の共有サブクエストで評価し、1,121個の弱いモデル対を得た。 各グループ内において、Brierスコアのテストにより最強の個人を特定し、個別のトレーニングデータに基づいて、より弱い予測者からなる集計を学習し、評価する。 我々は力強い改善の実質的な証拠を見つける。 学習された線形プールは16グループ中11グループで最強の個人と一致または上回り、全16グループでブリアスコアの5%以内となる弱いペアを識別する。 また、これらの改善は、最寄りの構成要素を持つことに頼らず、概して良好な校正を伴っていることも判明した。 さらなる分析により、より多くのモデルを追加することはパフォーマンスを継続的に改善するわけではないことが示され、競争力の弱いモデル集約も実用上の制約の下で利用可能である。

関連論文リスト

• Diversity is the Strength of the AI Crowd [4.101606888483043]
  一定の数のサンプルが与えられたら、どのモデル予測を組み合わさって精度を最大化するべきか? 多くのフロンティアLSMは高い相関の予測を行い、同一または類似のモデルから追加の予測値を制限する。 最強のアンサンブルは正確だが多様な予測器を組み合わせ、モデルGrok 4のようなモデルは他のフロンティアのLLMと相関が低いため不均等に寄与する。
  論文  参考訳（メタデータ） (2026-06-29T00:09:49Z)
• HELEA: Hard-Negative Benchmark and LLM-based Reranking for Robust Entity Alignment [16.009670110259506]
  品質管理評価ベンチマークを同時に生成する同名のハード負拡張戦略を提案する。 また,HELEAは (i) エンティティ検索エンコーダを1ホップKGコンテキストで学習し, (ii) LLM ベースの再評価を追加トレーニングなしで行うための2段階のフレームワークである。 HELEAはDW-HN29KでF1 0.967を達成し、Hit@1 0.993を標準DW-15Kで維持する。
  論文  参考訳（メタデータ） (2026-05-27T11:04:12Z)
• Can Persona-Prompted LLMs Emulate Subgroup Values? An Empirical Analysis of Generalisability and Fairness in Cultural Alignment [75.88231994139132]
  GPT-4.1のような最先端モデルでさえ、モーダル選好を予測する精度は57.4%に過ぎなかった。 モデルでは、若者、男性、中国人、キリスト教のペルソナをよりうまくエミュレートする。
  論文  参考訳（メタデータ） (2026-04-14T15:06:13Z)
• STAR : Bridging Statistical and Agentic Reasoning for Large Model Performance Prediction [78.0692157478247]
  本稿では,知識駆動型エージェント推論を用いて,データ駆動型静的予測を橋渡しするフレームワークSTARを提案する。 STARはスコアベースとランクベースの両方の基準線を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-12T16:30:07Z)
• Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs [60.68927774057402]
  はじめに、単純さのバイアスが小さくなれば、より良い一般化がもたらされることを示す。 この知見に触発されて、訓練後のサンプルのアップサンプリングや強化によるトレーニングデータ分布がSBを減少させ、一般化の改善につながることを示す。 我々はPhi2-2.7B, Llama3.2-1B, Gemma3-1B-PT, Qwen3-0.6B-Base など複数の言語モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2026-01-31T07:40:36Z)
• Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
  EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク 提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。 HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
  論文  参考訳（メタデータ） (2025-10-12T05:38:10Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
  本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。 いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-09T20:37:16Z)
• Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
  経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。 本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。 このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-08-26T12:34:55Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。