論文の概要: Shared Item-Level Error Limits the Aggregation of Small Language Models in Fermi Estimation
- arxiv url: http://arxiv.org/abs/2611.16315v1
- Date: Thu, 12 Nov 2026 05:23:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.367398
- Title: Shared Item-Level Error Limits the Aggregation of Small Language Models in Fermi Estimation
- Title(参考訳): 共有項目レベルエラーはフェルミ推定における小言語モデルの集約を制限する
- Abstract要約: 本稿では,各回答のlog10エラーを各項目のモデルの平均誤差に分解する。
我々は15のオープンウェイトモデルによるコミュニケーションの前に与えられた2.51万の回答から両者を推定する。
- 参考スコア(独自算出の注目度): 10.138220684013218
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent systems of language models are often motivated by an averaging argument: if the agents' errors are unbiased and independent, the error of an aggregate of N answers falls as 1/sqrt(N). Fermi estimation, whose continuous answers are aggregated on the logarithmic scale, permits a direct test. We decompose the log10 error of each answer into the mean error of its model on the item, common to all its draws on the item, and a residual, and estimate both from 2.51M answers given before any communication by 15 open-weight models (3B-72B) on realFP, with replication under a single prompt pair on realFP, Science Olympiad Fermi questions and a guesstimation set. Given the item, teammates' errors are uncorrelated and teams behave as independent draws, but the item-level component accounts for a median 0.906 of the error variance over items. Teams of thirty therefore reduce a single agent's error by a median 1.7% (at most 5.4%), whereas draws that were also unbiased on each item would reduce it by 74-79%. All models compress their estimates toward about 10^6; this trend explains a median 17% of the item-level component, and a cross-validated linear recalibration on labelled items removes the overall bias but not that component. Three rounds of debate reduce within-team dispersion by 93% and leave the item-level component unchanged; revision without peers attains the same small gain. Mixing five models of similar accuracy reduces error by 6.6% relative to their own homogeneous teams, but no mixture improves on the most accurate model. Higher sampling temperature changes team error by about 1% at most, and contrastive activation steering not detectably; per-agent scaffold prompts (not significant after multiplicity correction) and skipping one layer in a single-model screen improve it. The results are conditional on the models, benchmarks, prompts and settings tested.
- Abstract(参考訳): エージェントのエラーが非バイアスで独立であれば、N の集合の誤差は 1/sqrt(N) となる。
対数スケールで連続的な答えが集約されるフェルミ推定は、直接テストを可能にする。
我々は,各回答のlog10エラーを,その項目上の各モデルの平均誤差に分解し,その項目上のすべての描画に共通する残差に分解し,実FP上の15個のオープンウェイトモデル(3B-72B)による通信の前に与えられた2.51万の回答と,実FP上の1つのプロンプトペアによる複製,Science Olympiad Fermi質問と推定セットの両方から推定する。
項目からすると、チームメイトのエラーは非相関であり、チームは独立した引き分けとして振る舞うが、アイテムレベルのコンポーネントはアイテムに対するエラーの中央値0.906を占める。
したがって、30人のチームは1人のエージェントのエラーを中央値の1.7%(最大5.4%)削減する一方、各項目でバイアスのない引き分けは74-79%削減する。
すべてのモデルが推定値を約10^6に圧縮し、この傾向はアイテムレベルのコンポーネントの中央値の17%を説明し、ラベル付きアイテムのクロスバリデーションは全体的なバイアスを取り除くが、そのコンポーネントは取り除く。
3ラウンドの議論はチーム内の分散を93%減らし、アイテムレベルのコンポーネントをそのままにしておきます。
類似した精度で5つのモデルを混合すると、自身の同種チームと比較してエラーが6.6%減少するが、最も正確なモデルでは混合は改善されない。
サンプリング温度の上昇はチームの誤差を最大で約1%変更し、対照的なアクティベーションステアリングは検出不可能である。
結果は、テストされたモデル、ベンチマーク、プロンプト、設定で条件付きです。
関連論文リスト
- Chinese Decision: A Family of Language Models for Single-Pass Probabilistic Decision-Making [1.8430422880689117]
中国語決定モデルのファミリーである中国語決定について述べる。
各質問は、共有された命令と候補のプロンプトにコンパイルされる。
単一のフォワードパスは、候補文字の最終配置ログを読み出し、有効なオプションでそれらを正規化する。
論文 参考訳(メタデータ) (2026-10-16T09:08:32Z) - Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。
5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。
アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
論文 参考訳(メタデータ) (2026-09-30T16:40:22Z) - Neutrosophic Ensemble Classification for Uncertainty-Aware Bearing Fault Detection: Evidence from Laboratory and Variable-Speed Industrial Benchmarks [0.0]
我々は、ランダムフォレスト+XGBoost+ロジスティック回帰アンサンブルの洗練されたニュートロゾフィック分解を4つの指標に操作する。
I1-hatはT-hat/F-hat以上のエラーと堅牢な相関を示すが、I2-hatはほとんど寄与しない。
CWRUだけでは、文学的に検証された断層周波数は、封筒スペクトルを介して正しく復調され、ほとんどの断層クラスはほぼ完全に分離された。
論文 参考訳(メタデータ) (2026-09-18T18:24:20Z) - A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。
4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。
信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
論文 参考訳(メタデータ) (2026-08-30T10:21:34Z) - When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models [0.0]
マルチモデルLPMシステムは単一モデルの精度を上回ります。
彼らの利益は、ほとんど報告されない量で占められていることを示す。
論文 参考訳(メタデータ) (2026-06-25T17:06:06Z) - Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution [0.0]
予測市場は、不確実な出来事を予測するために集合的なインテリジェンスを集約する。
既存のオラクルシステムは、高速だが不安定な自動化と、正確だがコストのかかる人間の仲裁とをトレードオフする。
マルチエージェントLLMアーキテクチャが単一モデルベースラインよりもオラクル分解能を向上できるかどうかを評価する。
論文 参考訳(メタデータ) (2026-05-29T03:44:19Z) - ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models [0.0]
幻覚ベンチマークは、単一のエラーカウントを報告し、すべてのエラーを同等として扱うが、間違った日付と偽の裁判所判決は、桁違いに異なる。
Errorquake-10kは、8つのドメインと5つの難易度からなる連続的な0-4重度尺度で各応答をスコアするベンチマークである。
論文 参考訳(メタデータ) (2026-04-15T09:22:46Z) - Confidence-Based Model Selection: When to Take Shortcuts for
Subpopulation Shifts [119.22672589020394]
モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。
我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
論文 参考訳(メタデータ) (2023-06-19T18:48:15Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳(メタデータ) (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。