論文の概要: Statistical Convergence of Transformer Encoder-Accelerated Robust Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.23775v1
• Date: Sun, 20 Sep 2026 17:55:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.985184
• Title: Statistical Convergence of Transformer Encoder-Accelerated Robust Reinforcement Learning
• Title（参考訳）: 変圧器エンコーダによるロバスト強化学習の統計的収束
• Abstract要約: 本研究では,頑健な強化学習アルゴリズムのための統計的に厳密な収束結果を示す。 我々のフレームワークは状態遷移カーネルの不確かさを特徴付けるためにR-汚染モデルを採用している。 各種サイズ, 汚染レベルの迷路環境に関する数値ケーススタディにより, 変圧器をベースとした温暖化開始が初期誤差を計測的に低減することが確認された。
• 参考スコア（独自算出の注目度）: 2.3484426455936886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Obtaining the optimal action-value function in Markov decision processes is computationally intensive in large state--action spaces. In this study, we present statistically rigorous convergence results for a robust reinforcement learning algorithm warm-started by a transformer-based action-value function prediction, where natural language prompts encode task specifications. Our framework adopts the R-contamination model to characterize uncertainty in the state transition kernel, and employs conformal prediction to certify convergence via trajectory-level nonconformity scores constructed from the contracting Bellman residual. The resulting conformal quantile bounds the gap between the running and optimal action-value functions simultaneously over all iterations, thereby yielding a pre-certified stopping rule that requires little knowledge of the true transition kernel. Numerical case studies on perturbed maze environments of varying size and contamination level confirm that the transformer-based warm start measurably reduces the initial error and accelerates convergence, while the proposed conformal bounds track the true error trajectory more tightly than existing guarantees.
• Abstract（参考訳）: マルコフ決定過程における最適な作用値関数を持つことは、大きな状態-作用空間において計算集約的である。 本研究では,自然言語がタスク仕様をエンコードするトランスフォーマーに基づくアクション値関数予測によって開始される頑健な強化学習アルゴリズムについて,統計的に厳密な収束結果を示す。 我々のフレームワークは状態遷移カーネルの不確かさを特徴付けるためにR-汚染モデルを採用し、コンフォメーション予測を用いて、収縮するベルマン残基から構築された軌道レベルの非整合性スコアを通じて収束を証明している。 結果の共形量子は、全ての繰り返しに対して実行と最適な作用値関数のギャップを同時に結ぶため、真の遷移カーネルの知識をほとんど必要としない事前証明された停止規則が得られる。 変圧器をベースとした温暖化開始が初期誤差を計測し,収束を加速する一方で,提案した共形境界は,既存の保証よりも厳密な真の誤差軌跡を追尾する。

関連論文リスト

• Sequential sparse Gaussian process quantile regression [0.0]
  量子回帰は、観測データから応答変数の条件量子化を推定することを目的としている。 我々は、量子関数が還元された帰納変数によって表現されるスパースガウスプロセスフレームワークを開発する。 次に、予測不確かさを条件付き主成分および後部誘導分散成分に分解する。
  論文  参考訳（メタデータ） (2026-06-30T08:01:45Z)
• Breaking the Stochasticity Barrier: An Adaptive Variance-Reduced Method for Variational Inequalities [0.0]
  非コン最適化タスクのための新しいアルゴリズムとしてVR-A-A(VarianceReduced-Ascent with Armijo)を提案する。 本手法は,手動学習スケジューリングへの依存度を低減して,限界周期を効果的に抑制し,収束を加速することを示す。
  論文  参考訳（メタデータ） (2026-01-30T14:43:07Z)
• Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer [65.38883376379812]
  本稿では,連続表現と離散記号論理のギャップを埋めるアーキテクチャである離散変換器を提案する。 実証的には、Discrete TransformerはRNNベースのベースラインに匹敵するパフォーマンスを達成するだけでなく、連続的な変数ドメインへの解釈可能性を大幅に拡張する。
  論文  参考訳（メタデータ） (2026-01-09T12:49:41Z)
• Closed-Loop Transformers: Autoregressive Modeling as Iterative Latent Equilibrium [0.6820746164515952]
  閉ループ予測の原理を導入し、自己整合平衡に達するまで、モデルが反復的に潜在表現を洗練することを要求する。 この原理をEquilibrium Transformerとしてインスタンス化し,標準トランス層をEquilibrium Refinement Moduleで拡張する。 バイナリパリティタスクに関する予備実験では、チャレンジシーケンスの平均改善率は+3.28%で、標準トランスフォーマーがランダムなパフォーマンスに近づくと+8.07%に達する。
  論文  参考訳（メタデータ） (2025-11-26T20:02:59Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Rectifying Conformity Scores for Better Conditional Coverage [75.73184036344908]
  本稿では,分割共形予測フレームワーク内で信頼セットを生成する新しい手法を提案する。 本手法は,任意の適合度スコアのトレーニング可能な変換を行い,条件付き範囲を正確に確保しつつ,条件付き範囲を改善する。
  論文  参考訳（メタデータ） (2025-02-22T19:54:14Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Learning a Factorized Orthogonal Latent Space using Encoder-only Architecture for Fault Detection; An Alarm management perspective [0.2455468619225742]
  本稿では,プロセス変数の誤同定および決定論的成分を効果的に分離する,エンコーダに基づく残差設計を提案する。 提案モデルは2つの異なるエンコーダを用いて、潜在空間を2つの空間に分解する。 提案モデルでは、ほぼゼロの誤報と誤検出を達成しつつ予測品質を著しく向上させる。
  論文  参考訳（メタデータ） (2024-08-24T09:00:45Z)
• Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
  本稿では、因果的観点からの包括的ミニマックス分析について述べる。 最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。 本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
  論文  参考訳（メタデータ） (2021-07-05T09:07:29Z)
• Consistent Accelerated Inference via Confident Adaptive Transformers [29.034390810078172]
  我々は,大規模で高価な多層トランスの推論を確実に高速化する新しい手法を開発した。 また,本モデルとの確固たる一貫性を高い信頼度で保証しつつ,計算効率を向上させる。 このアプローチの有効性を4つの分類および回帰タスクで実証する。
  論文  参考訳（メタデータ） (2021-04-18T10:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。