論文の概要: Heuristic Transformer: Belief Augmented In-Context Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2511.10251v1
• Date: Fri, 14 Nov 2025 01:41:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.772542
• Title: Heuristic Transformer: Belief Augmented In-Context Reinforcement Learning
• Title（参考訳）: ヒューリスティック・トランスフォーマー: 強化されたインテクスト強化学習
• Authors: Oliver Dippel, Alexei Lisitsa, Bei Peng,
• Abstract要約: Heuristic Transformer (HT) はコンテキスト内強化学習アプローチであり、より優れた意思決定を実現するために、報酬に対する信念分布でコンテキスト内データセットを増強する。 HTは、有効性と一般化の両方の観点から、同等のベースラインを一貫して超越していることが示される。 提案手法は,信念に基づく拡張とトランスフォーマーに基づく意思決定のギャップを埋める,有望な方向を示す。
• 参考スコア（独自算出の注目度）: 1.8791091507292152
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformers have demonstrated exceptional in-context learning (ICL) capabilities, enabling applications across natural language processing, computer vision, and sequential decision-making. In reinforcement learning, ICL reframes learning as a supervised problem, facilitating task adaptation without parameter updates. Building on prior work leveraging transformers for sequential decision-making, we propose Heuristic Transformer (HT), an in-context reinforcement learning (ICRL) approach that augments the in-context dataset with a belief distribution over rewards to achieve better decision-making. Using a variational auto-encoder (VAE), a low-dimensional stochastic variable is learned to represent the posterior distribution over rewards, which is incorporated alongside an in-context dataset and query states as prompt to the transformer policy. We assess the performance of HT across the Darkroom, Miniworld, and MuJoCo environments, showing that it consistently surpasses comparable baselines in terms of both effectiveness and generalization. Our method presents a promising direction to bridge the gap between belief-based augmentations and transformer-based decision-making.
• Abstract（参考訳）: トランスフォーマーは、自然言語処理、コンピュータビジョン、シーケンシャルな意思決定にまたがるアプリケーションを可能にする、例外的なインコンテキスト学習(ICL)機能を示している。 強化学習では、ICLは学習を教師付き問題として再編成し、パラメータを更新せずにタスク適応を容易にする。 逐次的意思決定にトランスフォーマーを利用する先行作業に基づいて、より優れた意思決定を実現するために、インコンテキスト強化学習(ICRL)アプローチであるHeristic Transformer(HT)を提案する。 変分自動エンコーダ(VAE)を用いて、低次元確率変数を学習し、報酬よりも後続分布を表現する。 Darkroom, Miniworld, MuJoCo環境におけるHTの性能を評価し, 有効性と一般化の両面で, 同等のベースラインを一貫して上回っていることを示す。 提案手法は,信念に基づく拡張とトランスフォーマーに基づく意思決定のギャップを埋める,有望な方向を示す。

関連論文リスト

• OT-Transformer: A Continuous-time Transformer Architecture with Optimal Transport Regularization [1.7180235064112577]
  制御方程式が変圧器ブロックによってパラメータ化される力学系を考える。 最適輸送理論を利用してトレーニング問題を正規化し、トレーニングの安定性を高め、結果として得られるモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2025-01-30T22:52:40Z)
• Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining [25.669038513039357]
  本稿では,テキスト内強化学習のための教師付き事前学習を理論的に分析する枠組みを提案する。 ReLUに着目した変換器は、最適に近いオンライン強化学習アルゴリズムを効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2023-10-12T17:55:02Z)
• Transformers in Reinforcement Learning: A Survey [7.622978576824539]
  トランスフォーマーは自然言語処理、コンピュータビジョン、ロボット工学といった領域に影響を与え、他のニューラルネットワークと比較してパフォーマンスを改善している。 この調査では、トランスフォーマーが強化学習(RL)でどのように使われているかを調査し、不安定なトレーニング、クレジット割り当て、解釈可能性の欠如、部分的可観測性といった課題に対処するための有望な解決策と見なされている。
  論文  参考訳（メタデータ） (2023-07-12T07:51:12Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks [126.33843752332139]
  本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。 LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。 実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-04-16T11:30:26Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Stabilizing Transformer-Based Action Sequence Generation For Q-Learning [5.707122938235432]
  目標は、トランスフォーマーベースのDeep Q-Learningメソッドで、複数の環境で安定している。 提案手法は,制御環境における古典的Q-ラーニングの性能と,選択したAtariベンチマークのポテンシャルとを一致させることができる。
  論文  参考訳（メタデータ） (2020-10-23T22:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。