論文の概要: Diffusion-Inspired Reconfiguration of Transformers for Uncertainty Calibration

• arxiv url: http://arxiv.org/abs/2602.08920v1
• Date: Mon, 09 Feb 2026 17:24:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.395763
• Title: Diffusion-Inspired Reconfiguration of Transformers for Uncertainty Calibration
• Title（参考訳）: 不確かさ校正用変圧器の拡散誘起再構成
• Authors: Manh Cuong Dao, Quang Hung Pham, Phi Le Nguyen, Thao Nguyen Truong, Bryan Kian Hsiang Low, Trong Nghia Hoang,
• Abstract要約: プレトレーニングトランスにおける不確実性校正は、リスクに敏感なアプリケーションへの信頼性の高い展開において重要である。 本稿では,各特徴変換ブロックを確率的写像としてモデル化したトランスフォーマの拡散インスピレーションによる再構成を提案する。 本手法は既存の不確実性認識変換器と比較してキャリブレーションと予測精度が優れている。
• 参考スコア（独自算出の注目度）: 52.017716672255524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty calibration in pre-trained transformers is critical for their reliable deployment in risk-sensitive applications. Yet, most existing pre-trained transformers do not have a principled mechanism for uncertainty propagation through their feature transformation stack. In this work, we propose a diffusion-inspired reconfiguration of transformers in which each feature transformation block is modeled as a probabilistic mapping. Composing these probabilistic mappings reveals a probability path that mimics the structure of a diffusion process, transporting data mass from the input distribution to the pre-trained feature distribution. This probability path can then be recompiled on a diffusion process with a unified transition model to enable principled propagation of representation uncertainty throughout the pre-trained model's architecture while maintaining its original predictive performance. Empirical results across a variety of vision and language benchmarks demonstrate that our method achieves superior calibration and predictive accuracy compared to existing uncertainty-aware transformers.
• Abstract（参考訳）: プレトレーニングトランスにおける不確実性校正は、リスクに敏感なアプリケーションへの信頼性の高い展開において重要である。 しかし、既存の事前学習型変換器の多くは、特徴変換スタックを通じて不確実性伝播の原理的なメカニズムを持っていない。 本研究では,各特徴変換ブロックを確率的写像としてモデル化したトランスフォーマの拡散インスピレーションによる再構成を提案する。 これらの確率的写像を構成すると、拡散過程の構造を模倣し、入力分布から事前学習された特徴分布へデータ質量を輸送する確率経路が明らかになる。 この確率パスは、統合された遷移モデルで拡散過程に再コンパイルされ、元の予測性能を維持しながら、事前訓練されたモデルのアーキテクチャ全体を通して表現の不確実性の原則的伝播を可能にする。 様々な視覚・言語ベンチマークにおける実験結果から,本手法は既存の不確実性認識変換器と比較してキャリブレーションと予測精度が優れていることが示された。

関連論文リスト

• Spatially-informed transformers: Injecting geostatistical covariance biases into self-attention for spatio-temporal forecasting [0.0]
  本稿では,学習可能なコスタティクスカーネルを介して,地理的帰納バイアスを直接自己保持機構に注入するハイブリッドアーキテクチャを提案する。 本稿では,ネットワークがバックプロパゲーションによって下位プロセスの真の空間パラメータを復元する「Deep Variography'」現象を実証する。
  論文  参考訳（メタデータ） (2025-12-19T15:32:24Z)
• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Convergence Analysis of Flow Matching in Latent Space with Transformers [7.069772598731282]
  本稿では,ODEに基づく生成モデル,特にフローマッチングに関する理論的収束保証について述べる。 トレーニング済みのオートエンコーダネットワークを用いて、高次元の原入力を低次元の潜在空間にマッピングし、トランスフォーマーネットワークをトレーニングし、標準正規分布から目標潜在分布への変換速度場を予測する。
  論文  参考訳（メタデータ） (2024-04-03T07:50:53Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
  本稿では、因果的観点からの包括的ミニマックス分析について述べる。 最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。 本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
  論文  参考訳（メタデータ） (2021-07-05T09:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。