論文の概要: From Policy Evaluation to Off-Policy Control: Provable Emergence of In-Context Q-Learning

• arxiv url: http://arxiv.org/abs/2610.18057v1
• Date: Tue, 13 Oct 2026 09:44:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.582188
• Title: From Policy Evaluation to Off-Policy Control: Provable Emergence of In-Context Q-Learning
• Title（参考訳）: 政策評価からオフ・ポリティ・コントロールへ:In-Context Q-Learningの創出の可能性
• Abstract要約: 本研究では,非政治ブートストラップと欲求政策の改善を組み合わせた基礎的モデルフリー制御アルゴリズムであるQラーニングについて検討する。 注意のみの2層変換器がQ-ラーニングの有限温度形式を実装できることを実証する。 実験により、理論的に予測されたパラメータ構造は、内部の欲求行動選択機構を含む訓練中に出現することが示された。
• 参考スコア（独自算出の注目度）: 12.163076907658676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers can implement reinforcement-learning algorithms in context, yet how off-policy control emerges within Transformers remains poorly understood. We study Q-learning, a foundational model-free control algorithm that combines off-policy bootstrapping with greedy policy improvement. We prove that a two-layer attention-only Transformer can implement a finite-temperature form of Q-learning, where the temperature $τ>0$ controls the approximation to greedy action selection, recovering window Q-learning as $τ\to0$. We train the structured Transformer on randomly generated MDP tasks using output-only supervision. Experiments show that the theoretically predicted parameter structure emerges during training, including the internal greedy action-selection mechanism, and that the trained Transformer achieves performance comparable to Q-learning on unseen tasks. Our theoretical analysis further shows that the equivalent realizations form a solution manifold and that, under suitable task-diversity conditions, the training iterates converge locally to this manifold at an exponential rate. For the random-task model analyzed here, the local worst-case number of gradient steps needed to reduce the distance to the manifold by a factor $ε$ is $Θ\left(τ^{-5}\log(1/\varepsilon)\right)$, quantifying the increasing optimization cost as the learned update approaches window Q-learning.
• Abstract（参考訳）: トランスフォーマーは、強化学習アルゴリズムを文脈で実装できるが、トランスフォーマー内での政治以外の制御がどのように現れるかは、まだよく分かっていない。 本研究では,非政治ブートストラップと欲求政策の改善を組み合わせた基礎的モデルフリー制御アルゴリズムであるQラーニングについて検討する。 温度がτ>0$でグリージーな動作選択に対する近似を制御し、ウィンドウQ-ラーニングを$τ\to0$として回復する。 我々は、出力のみの監視を用いてランダムに生成されたMDPタスクに基づいて構造化トランスフォーマーを訓練する。 実験により、内部の欲求行動選択機構を含む、理論的に予測されたパラメータ構造が訓練中に出現し、トレーニングされたTransformerは、目に見えないタスクのQ-ラーニングに匹敵するパフォーマンスを達成することが示された。 我々の理論的解析は、同値な実現が解多様体を形成し、適切なタスク多様性条件の下では、トレーニング反復がこの多様体に指数速度で局所的に収束することを示している。 ここで解析されたランダム・タスク・モデルの場合、局所的な最悪の勾配ステップ数として、ε$ は$\left(τ^{-5}\log(1/\varepsilon)\right)$ であり、学習した更新が Q-learning に近づくにつれて最適化コストの増大を定量化する。

関連論文リスト

• Self-supervised In-context Operator Learning for Stochastic Mean-Field Control [17.382073199976062]
  MFC(Mean-Compute-field Control)は、不確実性の下で相互作用するエージェントの集団をコーディネートするための枠組みを提供する。 既存の数値およびディープラーニング手法は、一度に1つのMFC問題のインスタンスを解く。 MFCのためのメッシュフリーで自己学習型ニューラル演算子を開発した。
  論文  参考訳（メタデータ） (2026-08-18T20:03:48Z)
• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement [23.24714915251971]
  コンテクスト内強化学習を行う変換器の能力について検討する。 線形自己注意変換器ブロックは、ポリシー改善手法を確実に実装できることを示す。 ICRL文献における最初の収束保証を確立する。
  論文  参考訳（メタデータ） (2026-05-07T06:50:49Z)
• Autonomous Control Leveraging LLMs: An Agentic Framework for Next-Generation Industrial Automation [0.0]
  本稿では,大規模言語モデル(LLM)を個別のフォールトリカバリ計画と継続的プロセス制御の両方に活用する統合エージェントフレームワークを提案する。 その結果、構造化されたフィードバックとモジュラーエージェントにより、LLMは高レベルな記号計画と低レベルな連続制御を統一できることを示した。
  論文  参考訳（メタデータ） (2025-07-03T11:20:22Z)
• Q-value Regularized Transformer for Offline Reinforcement Learning [70.13643741130899]
  オフライン強化学習(RL)における最先端化のためのQ値正規化変換器(QT)を提案する。 QTはアクション値関数を学習し、条件付きシーケンスモデリング(CSM)のトレーニング損失にアクション値を最大化する用語を統合する D4RLベンチマークデータセットの実証評価は、従来のDP法やCSM法よりもQTの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-27T12:12:39Z)
• Automaton Distillation: Neuro-Symbolic Transfer Learning for Deep Reinforcement Learning [16.275340669943716]
  強化学習(Reinforcement Learning, RL)は、シーケンシャルな意思決定プロセスにおいて最適なポリシーを見つけるための強力なツールである。 実践的なRL問題に必要とされるエージェントエクスペリエンスの収集は違法にコストがかかり、学習されたポリシーはトレーニングデータ分布外のタスクに対する一般化が不十分である。 本稿では,教師からのQ値推定を,オートマトンという形で低次元の表現に蒸留する,ニューロシンボリック・トランスファー学習の形式であるオートマトン蒸留を導入する。
  論文  参考訳（メタデータ） (2023-10-29T19:59:55Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
  我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。 本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
  論文  参考訳（メタデータ） (2021-06-17T02:40:18Z)
• Off-Policy Self-Critical Training for Transformer in Visual Paragraph Generation [20.755764654229047]
  Transformerは現在、言語生成における最先端のSeq-to-seqモデルである。 本稿では,GRUに代表される行動ポリシーがサンプリングを行う,非政治的RL学習アルゴリズムを提案する。 提案アルゴリズムは,視覚的段落生成における最先端性能を実現し,画像キャプションの結果を改善した。
  論文  参考訳（メタデータ） (2020-06-21T05:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。