論文の概要: Efficient Autoregressive Inference for Transformer Probabilistic Models

• arxiv url: http://arxiv.org/abs/2510.09477v1
• Date: Fri, 10 Oct 2025 15:32:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:49.321978
• Title: Efficient Autoregressive Inference for Transformer Probabilistic Models
• Title（参考訳）: 変圧器確率モデルに対する効率的な自己回帰推論
• Authors: Conor Hassan, Nasrulloh Loka, Cen-You Li, Daolang Huang, Paul E. Chang, Yang Yang, Francesco Silvestrin, Samuel Kaski, Luigi Acerbi,
• Abstract要約: 両パラダイムの利点を保った因果自己回帰バッファを導入する。 統合されたトレーニング戦略により、セットベースと自動回帰モードのシームレスな統合が可能になる。 提案手法は,強いベースラインの予測精度と最大20倍の高速な関節サンプリングを実現する。
• 参考スコア（独自算出の注目度）: 24.106729589790465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based models for amortized probabilistic inference, such as neural processes, prior-fitted networks, and tabular foundation models, excel at single-pass marginal prediction. However, many real-world applications, from signal interpolation to multi-column tabular predictions, require coherent joint distributions that capture dependencies between predictions. While purely autoregressive architectures efficiently generate such distributions, they sacrifice the flexible set-conditioning that makes these models powerful for meta-learning. Conversely, the standard approach to obtain joint distributions from set-based models requires expensive re-encoding of the entire augmented conditioning set at each autoregressive step. We introduce a causal autoregressive buffer that preserves the advantages of both paradigms. Our approach decouples context encoding from updating the conditioning set. The model processes the context once and caches it. A dynamic buffer then captures target dependencies: as targets are incorporated, they enter the buffer and attend to both the cached context and previously buffered targets. This enables efficient batched autoregressive generation and one-pass joint log-likelihood evaluation. A unified training strategy allows seamless integration of set-based and autoregressive modes at minimal additional cost. Across synthetic functions, EEG signals, cognitive models, and tabular data, our method matches predictive accuracy of strong baselines while delivering up to 20 times faster joint sampling. Our approach combines the efficiency of autoregressive generative models with the representational power of set-based conditioning, making joint prediction practical for transformer-based probabilistic models.
• Abstract（参考訳）: トランスフォーマーベースのモデルでは、ニューラルプロセス、事前適合ネットワーク、表層基礎モデルといった、アモータライズされた確率的推論が、単一パス境界予測で優れている。 しかし、信号補間から複数カラムの表型予測まで、多くの現実世界のアプリケーションは、予測間の依存関係をキャプチャするコヒーレントな関節分布を必要とする。 純粋に自己回帰的なアーキテクチャはそのような分布を効率的に生成するが、これらのモデルをメタ学習に強力にするフレキシブルなセットコンディショニングを犠牲にする。 逆に、セットベースモデルから結合分布を得るための標準的なアプローチでは、各自己回帰ステップにおいて、拡張条件セット全体を高コストで再符号化する必要がある。 両パラダイムの利点を保った因果自己回帰バッファを導入する。 我々のアプローチは、コンディショニングセットの更新からコンテキストエンコーディングを分離する。 モデルはコンテキストを一度処理し、キャッシュします。 動的バッファはターゲットの依存関係をキャプチャし、ターゲットが組み込まれるとバッファに入り、キャッシュされたコンテキストと以前バッファ化されたターゲットの両方に付随する。 これにより、効率的なバッチ自動回帰生成と1パスの関節ログ類似度評価が可能となる。 統合トレーニング戦略により、設定ベースと自動回帰モードのシームレスな統合を最小限のコストで実現する。 本手法は, 合成機能, 脳波信号, 認知モデル, 表計算データとともに, 強いベースラインの予測精度と, 最大20倍の高速な関節サンプリングを実現する。 提案手法は, 自己回帰生成モデルの効率性と, セットベース条件付けの表現力を組み合わせることで, 変圧器ベース確率モデルに対する共同予測を実践する。

関連論文リスト

• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• KL-geodesics flow matching with a novel sampling scheme [4.347494885647007]
  非自己回帰型言語モデルは全てのトークンを同時に生成し、従来の自己回帰型モデルよりも潜在的に高速である。 テキスト生成のための条件付きフローマッチング手法について検討する。
  論文  参考訳（メタデータ） (2024-11-25T17:15:41Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Sparse Model Soups: A Recipe for Improved Pruning via Model Averaging [24.64264715041198]
  Sparse Model Soups (SMS) は,各プルー・リトレインサイクルを前フェーズから平均モデルに開始することでスパースモデルをマージする新しい手法である。 SMSはスパース性を保ち、スパースネットワークの利点を悪用し、モジュール化され、完全に並列化可能であり、IMPのパフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2023-06-29T08:49:41Z)
• Robust Binary Models by Pruning Randomly-initialized Networks [57.03100916030444]
  ランダムな二元ネットワークから敵攻撃に対して頑健なモデルを得る方法を提案する。 ランダムな二元ネットワークを切断することにより、ロバストモデルの構造を学習する。 本手法は, 敵攻撃の有無で, 強力な抽選券仮説を立証する。
  論文  参考訳（メタデータ） (2022-02-03T00:05:08Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。