論文の概要: Kalman Bayesian Transformer

• arxiv url: http://arxiv.org/abs/2509.10695v1
• Date: Fri, 12 Sep 2025 21:15:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:22.734572
• Title: Kalman Bayesian Transformer
• Title（参考訳）: カルマンベイズ変圧器
• Authors: Haoming Jing, Oren Wright, José M. F. Moura, Yorie Nakahira,
• Abstract要約: 本稿では,ベイズフレームワーク内の後部推論問題として逐次微調整をフレーム化する手法を提案する。 事前学習したモデルを事前学習として明示的に説明し、定量化された不確実性に基づく新しい情報に対して適応的にバランスをとることにより、頑健でデータ効率の良いシーケンシャルラーニングを実現する。
• 参考スコア（独自算出の注目度）: 11.613736588909246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential fine-tuning of transformers is useful when new data arrive sequentially, especially with shifting distributions. Unlike batch learning, sequential learning demands that training be stabilized despite a small amount of data by balancing new information and previously learned knowledge in the pre-trained models. This challenge is further complicated when training is to be completed in latency-critical environments and learning must additionally quantify and be mediated by uncertainty. Motivated by these challenges, we propose a novel method that frames sequential fine-tuning as a posterior inference problem within a Bayesian framework. Our approach integrates closed-form moment propagation of random variables, Kalman Bayesian Neural Networks, and Taylor approximations of the moments of softmax functions. By explicitly accounting for pre-trained models as priors and adaptively balancing them against new information based on quantified uncertainty, our method achieves robust and data-efficient sequential learning. The effectiveness of our method is demonstrated through numerical simulations involving sequential adaptation of a decision transformer to tasks characterized by distribution shifts and limited memory resources.
• Abstract（参考訳）: 変圧器の逐次微調整は、特にシフト分布において、新しいデータが順次到着するときに有用である。 バッチ学習とは異なり、シーケンシャルラーニングでは、事前訓練されたモデルにおいて、新しい情報と以前に学んだ知識のバランスをとることで、少量のデータにもかかわらず、トレーニングを安定させることが要求される。 この課題は、レイテンシクリティカルな環境でトレーニングが完了するとさらに複雑になり、学習は不確実性によってさらに定量化され、媒介されなければならない。 これらの課題に乗じて,ベイズフレームワーク内の後部推論問題として逐次微調整を実現する手法を提案する。 提案手法は,確率変数の閉形式モーメント伝搬,カルマンベイズニューラルネットワーク,およびソフトマックス関数のモーメントのテイラー近似を統合する。 事前学習したモデルを事前学習として明示的に説明し、定量化された不確実性に基づく新しい情報に対して適応的にバランスをとることにより、頑健でデータ効率の良いシーケンシャルラーニングを実現する。 本手法の有効性は,分散シフトと限られたメモリ資源を特徴とするタスクへの決定変換器の逐次適応を含む数値シミュレーションにより実証される。

関連論文リスト

• Non-Stationary Learning of Neural Networks with Automatic Soft Parameter Reset [98.52916361979503]
  非定常性を自動的にモデル化し適応する新しい学習手法を導入する。 非定常的・非政治的強化学習環境において,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2024-11-06T16:32:40Z)
• Dreaming Learning [41.94295877935867]
  機械学習システムに新しい情報を導入することは、以前に格納されたデータに干渉する可能性がある。 スチュアート・カウフマンの随伴可能性の概念に着想を得た学習アルゴリズムを提案する。 ニューラルネットワークは、予想と異なる統計特性を持つデータシーケンスを円滑に受け入れ、統合することを前提としている。
  論文  参考訳（メタデータ） (2024-10-23T09:17:31Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
  ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。 ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:11:59Z)
• Adapting to Continuous Covariate Shift via Online Density Ratio Estimation [64.8027122329609]
  分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。 歴史的情報を適切に再利用するオンライン手法を提案する。 我々の密度比推定法は, ダイナミックなリセットバウンドを楽しむことにより, 良好に動作できることが証明された。
  論文  参考訳（メタデータ） (2023-02-06T04:03:33Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。