Fugu-MT 論文翻訳(概要): Bi-directional Recurrence Improves Transformer in Partially Observable Markov Decision Processes

論文の概要: Bi-directional Recurrence Improves Transformer in Partially Observable Markov Decision Processes

arxiv url: http://arxiv.org/abs/2505.11153v1
Date: Fri, 16 May 2025 11:54:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-19 14:36:14.86789
Title: Bi-directional Recurrence Improves Transformer in Partially Observable Markov Decision Processes
Title（参考訳）: 部分観測可能なマルコフ決定過程における双方向再帰による変圧器の改良
Authors: Ashok Arora, Neetesh Kumar,
Abstract要約: 本研究は, サンプル効率を改善し, POMDP シナリオにおけるモデルパラメータ数を削減した, 新たなバイリカレントモデルアーキテクチャを提案する。提案したモデルアーキテクチャは、既存のトランスフォーマーベース、注意ベース、再発ベースの手法を平均87.39%から482.04%のマージンで上回っている。
参考スコア（独自算出の注目度）: 5.220940151628735
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In real-world reinforcement learning (RL) scenarios, agents often encounter partial observability, where incomplete or noisy information obscures the true state of the environment. Partially Observable Markov Decision Processes (POMDPs) are commonly used to model these environments, but effective performance requires memory mechanisms to utilise past observations. While recurrence networks have traditionally addressed this need, transformer-based models have recently shown improved sample efficiency in RL tasks. However, their application to POMDPs remains underdeveloped, and their real-world deployment is constrained due to the high parameter count. This work introduces a novel bi-recurrent model architecture that improves sample efficiency and reduces model parameter count in POMDP scenarios. The architecture replaces the multiple feed forward layers with a single layer of bi-directional recurrence unit to better capture and utilize sequential dependencies and contextual information. This approach improves the model's ability to handle partial observability and increases sample efficiency, enabling effective learning from comparatively fewer interactions. To evaluate the performance of the proposed model architecture, experiments were conducted on a total of 23 POMDP environments. The proposed model architecture outperforms existing transformer-based, attention-based, and recurrence-based methods by a margin ranging from 87.39% to 482.04% on average across the 23 POMDP environments.
Abstract（参考訳）: 実世界の強化学習(RL)のシナリオでは、エージェントはしばしば部分的な観測可能性に遭遇し、不完全またはノイズの多い情報が環境の真の状態を曖昧にする。部分的に観測可能なマルコフ決定プロセス(POMDP)は、これらの環境をモデル化するために一般的に使用されるが、効果的な性能には過去の観測を利用するためのメモリ機構が必要である。従来、リカレンスネットワークはこのニーズに対処してきたが、最近、トランスフォーマーベースのモデルではRLタスクのサンプル効率が改善されている。しかし,POMDPへの応用はまだ未開発であり,パラメータ数が高いため実世界の展開は制限されている。本研究は, サンプル効率を改善し, POMDP シナリオにおけるモデルパラメータ数を削減した, 新たなバイリカレントモデルアーキテクチャを提案する。アーキテクチャは、複数のフィードフォワード層を双方向のリカレンスユニットの1層に置き換えて、シーケンシャルな依存関係とコンテキスト情報をよりよくキャプチャし活用する。このアプローチは、部分的な可観測性を扱うモデルの能力を改善し、サンプル効率を高め、比較的少ない相互作用から効果的な学習を可能にする。提案したモデルアーキテクチャの性能を評価するため, 合計23POMDP環境で実験を行った。提案したモデルアーキテクチャは、既存のトランスフォーマーベース、注意ベース、再発ベースの手法を、平均で87.39%から482.04%のマージンで上回っている。

関連論文リスト

Reinforced Model Merging [53.84354455400038]
本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
論文参考訳（メタデータ） (2025-03-27T08:52:41Z)
Distilling Reinforcement Learning Algorithms for In-Context Model-Based Planning [39.53836535326121]
In-context Model-based RL frameworkであるDistillation for In-Context Planning (DICP)を提案する。以上の結果から,DICPはベースラインよりも環境相互作用を著しく少なく抑えながら,最先端の性能を実現することが示唆された。
論文参考訳（メタデータ） (2025-02-26T10:16:57Z)
ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文参考訳（メタデータ） (2024-12-11T12:31:30Z)
POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
論文参考訳（メタデータ） (2024-09-30T16:05:29Z)
DPPA: Pruning Method for Large Language Model to Model Merging [39.13317231533299]
本稿では、複雑な微調整モデルを統合するという課題に対処するため、DPPA(Dynamic Pruning Partition Amplification)と呼ばれる2段階の手法を提案する。提案手法は,ドメイン固有のパラメータの20%しか保持せず,他の手法に匹敵する性能を提供する。提案手法では, プレニング後の性能が優れており, モデルマージにおける性能が20%近く向上した。
論文参考訳（メタデータ） (2024-03-05T09:12:49Z)
Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
論文参考訳（メタデータ） (2024-02-05T03:25:04Z)
Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文参考訳（メタデータ） (2023-07-26T08:25:46Z)
Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。これは経験的ベンチマークでのHPO収束を早くすることを意味する。
論文参考訳（メタデータ） (2023-05-05T15:33:39Z)
Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-17T00:26:31Z)
Learning Robust State Abstractions for Hidden-Parameter Block MDPs [55.31018404591743]
我々は、ブロックMDPにインスパイアされた堅牢な状態抽象化を実現するために、HiP-MDP設定からの共通構造の概念を活用する。マルチタスク強化学習 (MTRL) とメタ強化学習 (Meta-RL) の両方のための新しいフレームワークのインスタンス化を導出する。
論文参考訳（メタデータ） (2020-07-14T17:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。