論文の概要: Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal standard
- arxiv url: http://arxiv.org/abs/2608.01575v1
- Date: Mon, 03 Aug 2026 01:21:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.290902
- Title: Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal standard
- Title（参考訳）: ベイズ最適標準に対する言語モデルにおける文脈内アルゴリズム推論の測定
- Abstract要約: F-ICLは、正しい帰納的推論のためのテキスト内学習ベンチマークである。
長さ15億のプログラム全てをLle13$で包含し、ベイズ最適後部を閉形式で計算する。
モデルはクエリの最大92%を正しく答えるが、46モデルのうち45モデルはキーストローク参照よりも最適な位置から分布を得る。
- 参考スコア（独自算出の注目度）: 0.010742675209112621
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Whether large language models perform genuine algorithmic reasoning or mere pattern completion is hard to test, because most benchmarks lack a ground truth for correct inductive inference. We introduce F-ICL, an in-context-learning benchmark that supplies one exactly. Using the Turing-complete machine F, complement-symmetrised into sF to remove output-polarity bias, we exhaustively enumerate all 1.5 billion programs of length $L\le13$ and compute the Bayes-optimal posterior in closed form under a bounded universal (Levin--Solomonoff) prior; models are scored by how closely their served distributions approach it at matched evidence. Each task is paired with its bitwise complement, on which the optimum scores identically, so an original-twin gap isolates the model's inductive bias. Across 105 serving configurations spanning 37 open models (0.8B--675B) and frontier systems from four laboratories, models answer up to 92\% of queries correctly, yet 45 of 46 models yield distributions farther from the optimum than a keystroke reference, and their behaviour is bracketed by low-order prefix statistics fitted only on visible evidence. That reference is itself an algorithmic mixture, induced by a print-only machine with no loops, so the panel's implied measure sits closer to a loop-free mixture than to the loop-bearing optimum, independently of the reference machine. Updating is also non-monotone, which no prior explains: a Bayes-rational solved set can only grow in this realisable, noiseless setting, yet added examples produce $6{,}545$ solved-to-unsolved transitions against $13{,}702$ gains. The gap is not predicted by accuracy (Spearman $ρ=-0.19$, $p=0.21$), does not close with scale or across frontier generations in the serving modes that expose distributions, and is widened by instruction and reasoning post-training. F-ICL is released as an open, reproducible benchmark and toolkit.
- Abstract（参考訳）: 大規模言語モデルが真のアルゴリズム推論を行うか、あるいは単なるパターン補完を実行するかは、ほとんどのベンチマークでは正しい帰納的推論の根拠が欠けているため、テストが難しい。
我々は、F-ICLというコンテキスト内学習ベンチマークを導入し、それを正確に提供する。
チューリング完全機械 F を用いて、積極性バイアスを除去するためにsF に補対称性を付し、15億のプログラム全てを$L\le13$で包括的に列挙し、有界普遍(Levin-Solomonoff)の下で閉形式でベイズ最適後部を計算する。
各タスクはビットワイズ補数とペアリングされ、最適なスコアは同じなので、元のツインギャップはモデルの帰納バイアスを分離する。
37のオープンモデル(0.8B--675B)と4つの実験室のフロンティアシステムにまたがる105を超える構成では、モデルがクエリの最大92%の精度で応答するが、46のモデルのうち45はキーストローク参照よりも最適な位置から分布を出力し、それらの振る舞いは、目に見える証拠にのみ適合する低次のプレフィックス統計によって記録される。
その参照はそれ自体、ループのないプリントオンリーのマシンによって誘導されるアルゴリズム的な混合であるため、パネルのインプリード測度は、参照マシンとは独立にループ付き最適値よりもループフリーの混合値に近い。
ベイズ有理分解集合は、この現実的でノイズのない環境でしか成長できないが、追加の例では、13{,}702$ゲインに対して6{,}545$未解決遷移を生成する。
ギャップは精度によって予測されない(Spearman $ρ=-0.19$, $p=0.21$)。
F-ICLは、オープンで再現可能なベンチマークとツールキットとしてリリースされた。
関連論文リスト
- When Does Few-Shot Prompting Help? A Systematic Empirical Study of Shot-Count Effects Across Model Scale, Architecture, and Output Parsing Robustness [0.0]
少数のインプット・アウトプット・デモペアをクエリにプリプロンプトして大きな言語モデルに提示する手法であるFew-shot promptingは、NLPで広く採用されている。
しかし、分類性能において、ショットカウントがモデルスケール、アーキテクチャ、出力フォーマットのコンプライアンスとどのように相互作用するかについて、体系的な研究はほとんど行われていない。
論文 参考訳（メタデータ） (2026-07-25T00:31:40Z) - What Does a Discrete Diffusion Model Learn? [71.03603607324338]
離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。
まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。
すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
論文 参考訳（メタデータ） (2026-07-06T17:56:11Z) - The Capability Frontier: Benchmarks Miss 82% of Model Performance [7.258179693117413]
既存のベンチマークでは、1回のランで1つのモデルの精度が報告されるのが一般的である。
これにより、実世界のLLM能力、特に異種データ分布を体系的に下降させる。
論文 参考訳（メタデータ） (2026-06-25T10:20:47Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - Direct Bethe Free Energy Minimization for Bayesian Neural Network [0.0]
我々は,変分下界を最大化するのではなく,Bethe自由エネルギーを直接最小化してベイズニューラルネットワークを訓練することを提案する。
木構造因子グラフ上では、Bethe自由エネルギーは正確であり、決定論的層は目的から外れ、標準のバックプロパゲーションによって訓練される。
すべての変種は、アンサンブルやサンプリングベースの手法とは対照的に、MAP等価な推論コストで閉形式予測を許容する。
論文 参考訳（メタデータ） (2026-05-08T20:12:48Z) - The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive [0.0]
CPUのみのスコアリングプリミティブはトークン当たり2.6マイクロ秒で動作する。
トークンのランク周波数分布は同じ2パラメータのMandelbrotランキング分布に収束する。
利用可能な場合にモデルログの確率で構成し、クローズドAPIで使用可能なランクオンリーモードに分解するシングルパススコアリングプリミティブを導出する。
論文 参考訳（メタデータ） (2026-04-28T13:35:31Z) - Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
基本的で長期にわたる課題は、その効率的な近似である。
一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。
本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
論文 参考訳（メタデータ） (2026-04-09T16:38:14Z) - Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。
トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。
証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
論文 参考訳（メタデータ） (2025-02-19T07:10:32Z) - ProofAug: Efficient Neural Theorem Proving via Fine-grained Proof Structure Analysis [50.020850767257095]
本稿では,LLMに様々な粒度で自動化手法を付加するProofAugを提案する。
本手法は,オープンソースのDeep-math-7bベースモデルとIsabelle証明アシスタントを用いて,MiniF2Fベンチマークで検証した。
また、ProofAugのLean 4バージョンを実装し、Kimina-Prover-seek-Distill-1.5Bのパス@1のパフォーマンスを44.3%から50.4%に改善します。
論文 参考訳（メタデータ） (2025-01-30T12:37:06Z) - Learning Halfspaces with Tsybakov Noise [50.659479930171585]
テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。
真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
論文 参考訳（メタデータ） (2020-06-11T14:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。