論文の概要: Bayesian Wind Tunnels for Model Selection

• arxiv url: http://arxiv.org/abs/2607.19379v1
• Date: Wed, 01 Jul 2026 04:05:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.142553
• Title: Bayesian Wind Tunnels for Model Selection
• Title（参考訳）: モデル選択のためのベイズ風洞
• Abstract要約: 変圧器は固定仮説クラス内で正確にベイズフィルタを行うことができることを示す。 離散統計学が算術を必要とする場合、モデル選択は整数トークンで成功する。 定常性制御は、安定なセマンティクスであり、整数のアイデンティティではなく回路のコンパイルを可能にする。
• 参考スコア（独自算出の注目度）: 0.4779196219827507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior work has shown that transformers can perform exact Bayesian filtering within a fixed hypothesis class. Can they also perform Bayesian model selection -- identifying the correct hypothesis class from data? We introduce model-selection Bayesian wind tunnels: controlled environments where ground-truth posteriors over hypothesis classes are available in closed form. Using fixed-point-free involutions -- whose defining property f(f(x))=x is purely relational -- a 2.8M-parameter transformer achieves 0.01-bit entropy agreement with the Bayesian optimum (3 seeds), with both integer tokens and opaque symbols whose meanings change every episode. This extends to non-nested comparisons: involutions vs. 3-cycles (where neither class is a subset of the other) achieve class-posterior MAE under 0.001, demonstrating genuine model selection beyond simplicity/subset bias. We then identify a sharp perceptual access condition: when the discriminative statistic requires arithmetic -- modular addition (rotations) or multiplication (f(x)=cx mod p) -- model selection succeeds with integer tokens but fails completely with opaque symbols, and this boundary persists under 112x scaling (2.8M to 316M parameters). A stationarity control confirms the operative factor: opaque tokens with a fixed relabeling succeed (0.009-bit MAE), showing that stable semantics, not integer identity, enable circuit compilation. Header subtask diagnostics localize the failure to the composition of header inversion with arithmetic rather than header parsing itself. Probing frontier LLMs on the same tasks shows qualitative Bayesian behavior but a large calibration gap (~55x), measured through lossy probes and therefore directional rather than exact.
• Abstract（参考訳）: 以前の研究は、変圧器が固定仮説クラス内で正確なベイズフィルタリングを行うことができることを示した。 また、データから正しい仮説クラスを識別するベイズモデル選択を実行できますか? 本稿では,モデル選択型ベイズ風洞について紹介する。 f(f(x))=xを定義する性質は純粋にリレーショナルであり、2.8Mパラメータ変換器は、整数トークンと不透明なシンボルの両方でベイズ最適値(3シード)との0.01ビットのエントロピー一致を達成する。 involutions vs. 3-cycles(どちらのクラスも他方のサブセットではない)は0.001未満のクラスポストMAEを獲得し、単純さ/サブセットバイアス以上の真のモデル選択を示す。 判別統計学が算術を必要とするとき - モジュラー加算(回転)または乗法(f(x)=cx mod p) -- モデル選択は整数トークンで成功するが、不透明なシンボルで完全に失敗し、この境界は112倍スケール(2.8Mから316Mパラメータ)で持続する。 不透明なトークンと固定リテラブル成功(0.009-bit MAE)は、整数単位ではなく安定なセマンティクスが回路のコンパイルを可能にすることを示す。 ヘッダサブタスク診断は、ヘッダ解析自体を解析するのではなく、算術によるヘッダ逆変換の構成に障害をローカライズする。 同じタスクでフロンティア LLM を求めると、定性的ベイズ的振る舞いを示すが、大きなキャリブレーションギャップ(約55倍)は損失プローブによって測定され、従って正確な方向ではなく方向を示す。

関連論文リスト

• An Omitted Mode Is a Rare Rule: The Sampling-Verification Danger Law in Continuous Code World Models [0.0]
  GPT-5.xは111モードを含む合成ドローのうち105個の省略された1Dクランプを修復する。 2D領域では、ルールを回復するアーティファクトは存在しない(0/156)。 我々は、入場規則のクラスを、演奏中の全てのサンプルと正確に一致しているが、無害であることを示すので、識別性は楽器の計測可能な特性である。
  論文  参考訳（メタデータ） (2026-08-18T16:09:51Z)
• Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
  機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。 スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
  論文  参考訳（メタデータ） (2026-08-10T19:42:01Z)
• The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning [0.5854803320592717]
  線形ガウスモデル (Thm.A) における最適性を証明し, 展開のドリフトをゼロにする2次ペナルティに対する範囲被覆の必要性 (Thm.G) を示す。 13ブロック(MLからQwen2.5-7Bまで)のテストは、幾何と展開のドリフトに対する等方性対間違った方向の罰則と一致した。 Sigma_taskを推定し、Sigmaにマッチし、コントロールを実行し、タスクとジオメトリを別々にレポートする。
  論文  参考訳（メタデータ） (2026-05-21T17:53:28Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Lost in State Space: Probing Frozen Mamba Representations [0.5156484100374058]
  マンバの繰り返し状態 h_t は、これまで見てきた全てのトークンの圧縮された要約である。 固定パッチ境界におけるトークンレベルの出力y_tを抽出すると、意味文要約を無償で取得する。 我々は,事前訓練したマンバ130Mの背骨から凍結文表現を抽出する4つの方法の比較を行った。
  論文  参考訳（メタデータ） (2026-04-30T21:35:08Z)
• Fixed-Horizon Self-Normalized Inference for Adaptive Experiments via Martingale AIPW/DML with Logged Propensities [0.0]
  適応的な割り当ての下では、確率は変化し続けるため、AIPW/DMLインクリメントの予測可能な2次変動はランダムのままである。 本研究では,2次変動によって推定される偏差が,分散安定化を伴わずとも条件的に誤校正されていることを示す。
  論文  参考訳（メタデータ） (2026-02-17T13:12:31Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• SimT: Handling Open-set Noise for Domain Adaptive Semantic Segmentation [58.61946589036262]
  本稿では,ブラックボックスモデルを用いて,擬似ラベル付きターゲットデータのみにアクセス可能な実用的なドメイン適応(DA)セマンティックセマンティックセマンティクス問題について検討する。 ドメインギャップと2つのドメイン間のラベルシフトのため、擬似ラベル付きターゲットデータには、クローズドセットとオープンセットのラベルノイズが混在している。 DAセマンティックセグメンテーションにおける混合雑音分布をモデル化し、SimTの推定として問題を定式化するための単純なノイズ遷移行列(SimT)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T02:48:08Z)
• Bayes in Wonderland! Predictive supervised classification inference hits unpredictability [1.8814209805277506]
  デ・フィネッティ型の交換性の下でsBpcとmBpcの収束を示す。 また、分割交換可能なシーケンスを生じる生成モデルのパラメータ推定も行う。
  論文  参考訳（メタデータ） (2021-12-03T12:34:52Z)
• Modeling Sequences as Distributions with Uncertainty for Sequential Recommendation [63.77513071533095]
  既存のシーケンシャルメソッドの多くは、ユーザが決定論的であると仮定する。 項目-項目遷移は、いくつかの項目において著しく変動し、ユーザの興味のランダム性を示す。 本稿では,不確実性を逐次モデルに注入する分散型トランスフォーマーシークエンシャルレコメンデーション(DT4SR)を提案する。
  論文  参考訳（メタデータ） (2021-06-11T04:35:21Z)
• Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
  分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。 そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
  論文  参考訳（メタデータ） (2020-10-23T08:33:04Z)
• Tractable Inference in Credal Sentential Decision Diagrams [116.6516175350871]
  確率感性決定図は、解離ゲートの入力が確率値によってアノテートされる論理回路である。 我々は、局所確率を質量関数のクレーダル集合に置き換えることができる確率の一般化である、クレーダル感性決定図を開発する。 まず,ノイズの多い7セグメント表示画像に基づく簡単なアプリケーションについて検討する。
  論文  参考訳（メタデータ） (2020-08-19T16:04:34Z)
• Learning Posterior and Prior for Uncertainty Modeling in Person Re-Identification [11.651410633259543]
  我々は、潜在空間におけるサンプル後部分布とクラス先行分布を学習し、代表的特徴だけでなく、モデルによって不確実性を構築することができる。 Market1501、DukeMTMC、MARS、ノイズデータセットでも実験が行われている。
  論文  参考訳（メタデータ） (2020-07-17T07:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。