論文の概要: Large Language Bayes Is Not Reparameterisation-Invariant
- arxiv url: http://arxiv.org/abs/2610.00265v1
- Date: Thu, 24 Sep 2026 09:06:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.58752
- Title: Large Language Bayes Is Not Reparameterisation-Invariant
- Title（参考訳）: 大きな言語ベイズは再パラメータ化の不変ではない
- Abstract要約: Large Language Bayesは、言語モデルから候補確率プログラムをサンプリングすることで、非公式なモデリング問題に答える。
この重み付けはモデルの記述方法によって異なることを示す。
6つの言語モデルのプログラム360ドルを超え、パラメータ化は0%$から100%$ Centeredの範囲である。
- 参考スコア（独自算出の注目度）: 2.5536942228520814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Bayes (LLB) answers an informal modelling question by sampling candidate probabilistic programs from a language model, running approximate inference on each, and averaging them with weights proportional to an exponentiated evidence bound. We show that this weighting depends on how a model is written. The log marginal likelihood is invariant to reparameterisation; the evidence bound is not. On eight schools the centered and non-centered programs are the same measure to $5.7\times10^{-14}$, yet their weights differ by $6.1\times$; importance weighting reduces this only to $2.2\times$, and reproducing the inference LLB actually runs, a full-covariance Gaussian matched to the posterior moments, still leaves $1.9\times$ on eight schools and $8.9\times$ in $64$ dimensions. Across likelihood families, dimensions and funnel severities the discrepancy reaches $31.9\times$ and reverses sign, so no single writing is uniformly preferable. It inverts Bayes factors against eight natural competitors, and the induced error in the model posterior, and in any downstream target, is controlled by the spread $Δ$ of the bound shortfalls through a known sharp Hilbert-distance bound. Across $360$ programs from six language models the parameterisation written ranges from $0\%$ to $100\%$ centered and is stable within a model. Detecting equivalent programs statistically can falsely merge genuinely different models at practical sample budgets; verifying reparameterisations we generate ourselves cannot, and closes the window.
- Abstract（参考訳）: 大言語ベイズ(LLB)は、言語モデルから候補確率プログラムをサンプリングし、それぞれに近似推論を行い、指数的証拠に比例した重みでそれらを平均化することにより、非公式なモデリング問題に答える。
この重み付けはモデルの記述方法によって異なることを示す。
対数辺縁の確率は再パラメータ化に不変であり、証拠は有界ではない。
8つの学校では、中心的プログラムと非中心的プログラムは5.7\times10^{-14}$と同じだが、重み付けは6.1\times$、重み付けは2.2\times$に減らし、LLBが実際に実行している推論を再現する。
可能性はある族、次元、ファンネルの重大さを越えて、差額は311.9\times$ に達し、符号を逆転するので、一文一文も一文一文一文一文は好ましくない。
ベイズ因子を8つの自然競合に対して逆転させ、モデル後部および下流ターゲットにおける誘導誤差は、既知の鋭いヒルベルト距離境界を通じて境界不足点の$Δ$で制御される。
6つの言語モデルのプログラム360ドルを超え、パラメータ化は0\%$から100\%$ Centeredの範囲で、モデル内で安定している。
同等のプログラムを統計的に検出することで、実際のサンプル予算で真に異なるモデルを誤ってマージすることが可能になる。
関連論文リスト
- Certification cost of quantum models: measurement correlation, not parameter count [0.0]
経験的フィッシャー行列を相対的なフロベニウス誤差と比較すると、回路の実行は$$(B p2 V/(varepsilon2 G))である。
コスト最適読み出し重量は、測定されたショットの予算をハードウェア上で2.67タイム($1.33$--4.00$)削減した。
論文 参考訳（メタデータ） (2026-09-13T10:47:03Z) - Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal standard [0.010742675209112621]
F-ICLは、正しい帰納的推論のためのテキスト内学習ベンチマークである。
長さ15億のプログラム全てをLle13$で包含し、ベイズ最適後部を閉形式で計算する。
モデルはクエリの最大92%を正しく答えるが、46モデルのうち45モデルはキーストローク参照よりも最適な位置から分布を得る。
論文 参考訳（メタデータ） (2026-08-03T01:21:44Z) - Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。
我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。
この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
論文 参考訳（メタデータ） (2026-08-01T13:49:46Z) - Lying Is Just a Phase: The Hidden Alignment Transition in Language Model Scaling [0.0]
16家系の63塩基モデルにおける推論と真理の結合度を測定した。
我々は、家族依存の臨界スケール(N_c$)以下の損失曲線を目に見えない体制変化を発見し、その上、彼らは協力する。
論文 参考訳（メタデータ） (2026-05-13T03:14:09Z) - The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。
これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
論文 参考訳（メタデータ） (2026-05-09T22:27:31Z) - Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect [0.0]
本研究は,小言語モデルが内的アクティベーションを検出・報告できるかどうかを考察する。
まず,先行研究で使用される二項検出パラダイムが,質問内容に関係なく肯定的応答に偏りを示すため,小さなモデルで構築されていることを示す。
次に、モデル自身の摂動前進パスから構築した文局在化例を教師付き微調整するEmphIntrospection Fine-Tuning(IFT)を導入する。
論文 参考訳（メタデータ） (2026-05-08T05:30:26Z) - Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity [0.3951796994513004]
iKPs(textbfIncompressible Knowledge Probes)は,7層にまたがる1,400の事実質問のベンチマークである。
89のオープンウェイトモデル (135M-1,600B) において、IKP精度からパラメータ数へのログ線形マッピングを19のベンダーで調整する。
Mixture-of-Expertsモデルでは、全パラメータがアクティブパラメータよりもはるかに優れた知識を予測する。
論文 参考訳（メタデータ） (2026-04-27T15:46:23Z) - Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。
我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。
我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
論文 参考訳（メタデータ） (2024-11-20T02:46:15Z) - Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。
しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。
対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
論文 参考訳（メタデータ） (2024-03-13T13:54:00Z) - Variance-Aware Confidence Set: Variance-Dependent Bound for Linear
Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。
線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。
線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
論文 参考訳（メタデータ） (2021-01-29T18:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。