論文の概要: Decision ConvFormer: Local Filtering in MetaFormer is Sufficient for Decision Making

• arxiv url: http://arxiv.org/abs/2310.03022v2
• Date: Fri, 6 Oct 2023 14:04:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-09 10:31:10.215253
• Title: Decision ConvFormer: Local Filtering in MetaFormer is Sufficient for Decision Making
• Title（参考訳）: 決定ConvFormer: MetaFormerにおける局所フィルタリングは意思決定に十分である
• Authors: Jeonghye Kim, Suyoung Lee, Woojun Kim, Youngchul Sung
• Abstract要約: 決定変換器(DT)はTransformerに基づいた有望なモデルとして登場している。 本稿では,MetaFormer のアーキテクチャに基づく新しい行動系列予測器,Decision ConvFormer (DC) を提案する。 DCは、リソースを少なくしながら、様々な標準RLベンチマークで最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 21.929683225837078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent success of Transformer in natural language processing has sparked its use in various domains. In offline reinforcement learning (RL), Decision Transformer (DT) is emerging as a promising model based on Transformer. However, we discovered that the attention module of DT is not appropriate to capture the inherent local dependence pattern in trajectories of RL modeled as a Markov decision process. To overcome the limitations of DT, we propose a novel action sequence predictor, named Decision ConvFormer (DC), based on the architecture of MetaFormer, which is a general structure to process multiple entities in parallel and understand the interrelationship among the multiple entities. DC employs local convolution filtering as the token mixer and can effectively capture the inherent local associations of the RL dataset. In extensive experiments, DC achieved state-of-the-art performance across various standard RL benchmarks while requiring fewer resources. Furthermore, we show that DC better understands the underlying meaning in data and exhibits enhanced generalization capability.
• Abstract（参考訳）: 最近の自然言語処理におけるtransformerの成功は、様々な領域での使用を促している。 オフライン強化学習(RL)では、決定変換器(DT)がトランスフォーマーに基づく有望なモデルとして登場している。 しかし, DTのアテンションモジュールはマルコフ決定過程としてモデル化されたRLの軌道中の固有局所依存パターンを捉えるのに適切でないことがわかった。 DTの限界を克服するため,複数のエンティティを並列に処理し,複数のエンティティ間の相互関係を理解するための汎用構造であるMetaFormerのアーキテクチャに基づく,新しいアクションシーケンス予測器であるDecision ConvFormer (DC)を提案する。 DCはトークンミキサーとして局所畳み込みフィルタリングを採用し、RLデータセットの固有の局所関連を効果的にキャプチャすることができる。 大規模な実験では、DCはリソースを少なくしながら、様々な標準RLベンチマークで最先端のパフォーマンスを達成した。 さらに,dcはデータの基盤となる意味をよりよく理解し,一般化能力を高めていることを示す。

関連論文リスト

• Q-value Regularized Decision ConvFormer for Offline Reinforcement Learning [5.398202201395825]
  Decision Transformer (DT) はオフライン強化学習において例外的な能力を示した。 Decision ConvFormer (DC) はマルコフ決定プロセス内のRL軌道のモデル化の文脈で理解しやすい。 本稿では,Q-value Regularized Decision ConvFormer(QDC)を提案する。
  論文  参考訳（メタデータ） (2024-09-12T14:10:22Z)
• Rethinking Decision Transformer via Hierarchical Reinforcement Learning [54.3596066989024]
  決定変換器(Decision Transformer, DT)は、強化学習(RL)における変換器アーキテクチャの最近の進歩を活用する革新的なアルゴリズムである。 本稿では,階層RLのレンズを用いたシーケンシャル意思決定のための汎用シーケンスモデリングフレームワークを提案する。 DTは、高レベルかつ低レベルなポリシーを選択することで、このフレームワークの特別なケースとして現れ、これらの選択の潜在的な失敗について議論する。
  論文  参考訳（メタデータ） (2023-11-01T03:32:13Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• On Transforming Reinforcement Learning by Transformer: The Development Trajectory [97.79247023389445]
  Transformerは元々自然言語処理用に開発されたもので、コンピュータビジョンでも大きな成功を収めている。 既存の開発をアーキテクチャ拡張と軌道最適化の2つのカテゴリに分類する。 ロボット操作,テキストベースのゲーム,ナビゲーション,自律運転におけるTRLの主な応用について検討する。
  論文  参考訳（メタデータ） (2022-12-29T03:15:59Z)
• Explaining Cross-Domain Recognition with Interpretable Deep Classifier [100.63114424262234]
  解釈可能なDeep(IDC)は、ターゲットサンプルの最も近いソースサンプルを、分類器が決定を下す証拠として学習する。 我々のIDCは、精度の劣化がほとんどなく、最適なリジェクションオプションの分類を効果的に調整する、より説明可能なモデルに導かれる。
  論文  参考訳（メタデータ） (2022-11-15T15:58:56Z)
• MoCoDA: Model-based Counterfactual Data Augmentation [40.878444530293635]
  遷移力学における局所因数分解の認識と利用は、多目的推論の力を解き放つ上で重要な要素であると主張する。 局所構造を知ることで、このダイナミクスモデルが一般化する、目に見えない状態や動作を予測することもできます。 我々は、MoCoDAにより、RLエージェントが、目に見えない状態や行動に一般化するポリシーを学ぶことができることを示す。
  論文  参考訳（メタデータ） (2022-10-20T14:09:48Z)
• Towards Unsupervised Domain Adaptation via Domain-Transformer [0.0]
  教師なしドメイン適応(UDA)のためのドメイン変換器(DoT)を提案する。 DoTは新しい視点から、CNNバックボーンとTransformerのコアアテンションメカニズムを統合する。 ドメイン間の局所的な意味的一貫性を実現し、そこではドメインレベルの注意と多様体の正規化が探索される。
  論文  参考訳（メタデータ） (2022-02-24T02:30:15Z)
• Generalized Decision Transformer for Offline Hindsight Information Matching [16.7594941269479]
  本稿では、後視情報マッチング(HIM)問題を解くための一般化決定変換器(GDT)を提案する。 特徴関数と反因果アグリゲータの異なる選択が, 将来の異なる統計値に適合する新しいカテゴリーDT (CDT) と双方向DT (BDT) にどのように寄与するかを示す。
  論文  参考訳（メタデータ） (2021-11-19T18:56:13Z)
• HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression [53.90578309960526]
  大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。 階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
  論文  参考訳（メタデータ） (2021-10-16T11:23:02Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Counterfactual Data Augmentation using Locally Factored Dynamics [44.37487079747397]
  局所因果構造を利用して、シーケンス予測と非政治強化学習のサンプル効率を向上させることができる。 本稿では,これらの構造をオブジェクト指向の状態表現として推定する手法と,対実データ拡張のための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-06T16:29:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。