論文の概要: What does a Bayes-filtered transformer believe? A predictive Monte Carlo approach

• arxiv url: http://arxiv.org/abs/2607.17060v1
• Date: Sun, 19 Jul 2026 04:03:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.347228
• Title: What does a Bayes-filtered transformer believe? A predictive Monte Carlo approach
• Title（参考訳）: ベイズフィルターを用いた変圧器は何を信じるか? モンテカルロの予測的アプローチ
• Abstract要約: ベイズフィルタ変換器(ベイズフィルタ変換器、英: Bayes-filtered transformer、BFT)は、2つのステップで生成されるシーケンスに基づいて訓練された変換器である。 予測的モンテカルロ (PMC) を任意のBFTの一般的な解釈可能性ツールとして用いる。
• 参考スコア（独自算出の注目度）: 2.095894778586172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A Bayes-filtered transformer (BFT) is a transformer trained on sequences that are generated in two steps: first a latent task is drawn from a prior, then observations are drawn conditional on that task. Trained under autoregressive log loss, the BFT's next-token prediction, in the idealized limit, is the Bayesian posterior predictive distribution (PPD) induced by that prior and that conditional law. In practice the trained BFT is only an approximation of this ideal PPD, raising an interpretive question: what prior and posterior over the latent task has the trained BFT actually internalized? Existing work answers this question by comparing the trained BFT's predictions against the predictions of various "reference" posteriors, each standing in for a different candidate algorithm or computation the BFT might be implementing. This prediction-space comparison is fragile: different posteriors can share the same posterior-mean predictions. We use predictive Monte Carlo (PMC) as a general interpretability tool for any BFT: using only next-token generation, PMC returns an approximation to the implicit prior and posterior over the latent task, answering the interpretive question directly in latent space. We apply PMC to three stylized task families spanning 0-Markov and 1-Markov exchangeability. The phenomena previously reported in these settings remain visible in latent space. Code is available at https://github.com/afiq-aswadi/bft-pmc
• Abstract（参考訳）: ベイズフィルタ変換器(ベイズフィルタ変換器、英: Bayes-filtered transformer、BFT)は、2つのステップで生成されるシーケンスに基づいて訓練された変換器である。 自己回帰的ログ損失の下で訓練されたBFTの次の予測は、理想化された極限において、その先行法則と条件法則によって誘導されるベイズ後続予測分布(PPD)である。 実際には、訓練されたBFTは、この理想的なPDの近似にすぎない。 既存の作業は、訓練されたBFTの予測と様々な"参照"後部の予測を比較し、それぞれ異なる候補アルゴリズムやBFTが実装しているかもしれない計算のために立っていた。 この予測空間の比較は脆弱であり、異なる後部は同じ後部平均予測を共有することができる。 我々は予測的モンテカルロ(PMC)を任意のBFTの一般的な解釈可能性ツールとして使用し、次のトーケン世代のみを用いて、PMCは潜在タスク上の暗黙の事前および後方への近似を返却し、潜時空間で直接解釈的質問に答える。 PMCを0-マルコフと1-マルコフ交換性にまたがる3つのスタイリングされたタスク族に適用する。 これらの設定で以前に報告された現象は、潜時空間で見ることができる。 コードはhttps://github.com/afiq-aswadi/bft-pmcで入手できる。

関連論文リスト

• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• Streamlining Prediction in Bayesian Deep Learning [16.061370232443988]
  本研究は, サンプリング不要な単一前方通過によるBDLの合理化予測について検討する。 我々は、後続の予測分布に対する近似を解析的に計算する。 本稿では,ViT や GPT-2 などのトランスフォーマーにアプローチを示し,その性能を回帰および分類タスクで評価する。
  論文  参考訳（メタデータ） (2024-11-27T15:07:44Z)
• Patch-level Gaze Distribution Prediction for Gaze Following [49.93340533068501]
  トレーニング後の視線に対するパッチ分布予測(PDP)手法を提案する。 本モデルでは,アノテーションの差が大きい画像上でのより優れたヒートマップ分布を予測することにより,MSE損失の正則化を図っている。 実験により,ターゲット予測とイン/アウト予測サブタスクのギャップを埋めるモデルが得られた。
  論文  参考訳（メタデータ） (2022-11-20T19:25:15Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。