論文の概要: Graph Decision Transformer

• arxiv url: http://arxiv.org/abs/2303.03747v1
• Date: Tue, 7 Mar 2023 09:10:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 15:59:04.171978
• Title: Graph Decision Transformer
• Title（参考訳）: グラフ決定変換器
• Authors: Shengchao Hu, Li Shen, Ya Zhang, Dacheng Tao
• Abstract要約: グラフ決定変換器(GDT)は、新しいオフライン強化学習手法である。 GDTは入力シーケンスを因果グラフにモデル化し、基本的な異なる概念間の潜在的な依存関係をキャプチャする。 実験の結果,GDT は画像ベース Atari と OpenAI の Gym 上で,最先端のオフライン RL 手法の性能と一致しているか,上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 83.76329715043205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline reinforcement learning (RL) is a challenging task, whose objective is to learn policies from static trajectory data without interacting with the environment. Recently, offline RL has been viewed as a sequence modeling problem, where an agent generates a sequence of subsequent actions based on a set of static transition experiences. However, existing approaches that use transformers to attend to all tokens naively can overlook the dependencies between different tokens and limit long-term dependency learning. In this paper, we propose the Graph Decision Transformer (GDT), a novel offline RL approach that models the input sequence into a causal graph to capture potential dependencies between fundamentally different concepts and facilitate temporal and causal relationship learning. GDT uses a graph transformer to process the graph inputs with relation-enhanced mechanisms, and an optional sequence transformer to handle fine-grained spatial information in visual tasks. Our experiments show that GDT matches or surpasses the performance of state-of-the-art offline RL methods on image-based Atari and OpenAI Gym.
• Abstract（参考訳）: オフライン強化学習(RL)は環境と相互作用することなく静的軌道データからポリシーを学習することを目的とした課題である。 近年、オフラインRLは、エージェントが一連の静的遷移経験に基づいて後続のアクションのシーケンスを生成するシーケンスモデリング問題と見なされている。 しかし、トランスフォーマーを使ってすべてのトークンにネイティブに出席する既存のアプローチは、異なるトークン間の依存関係を見落とし、長期の依存関係学習を制限することができる。 本稿では,入力シーケンスを因果グラフにモデル化し,基本的な概念間の潜在的な依存関係を捉え,時間的および因果的関係学習を容易にする,新しいオフラインrl手法であるgraph decision transformer(gdt)を提案する。 gdtはグラフトランスフォーマーを使用してグラフ入力をリレーションエンハンスされたメカニズムで処理し、オプションのシーケンストランスフォーマは視覚タスクできめ細かい空間情報を処理する。 実験の結果,GDT は画像ベース Atari と OpenAI Gym 上での最先端のオフライン RL 手法の性能と一致しているか,あるいは上回っていることがわかった。

関連論文リスト

• PuTR: A Pure Transformer for Decoupled and Online Multi-Object Tracking [36.5272157173876]
  我々は、純粋なトランスフォーマーが、疎結合でオンラインな方法で、短期および長期の関連を統一できることを示します。 実験により、古典的なトランスフォーマーアーキテクチャが自然に関連問題に適合し、強力なベースラインを達成できることが示されている。 この作業は、MOTタスクのための有望なTransformerベースのアプローチの先駆者であり、さらなる研究を促進するためのコードを提供する。
  論文  参考訳（メタデータ） (2024-05-23T02:44:46Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Multi-Objective Decision Transformers for Offline Reinforcement Learning [7.386356540208436]
  オフラインRLは、リアルタイム環境相互作用を必要とせずに、静的な軌道データからポリシーを導出するように構成されている。 オフラインRLを多目的最適化問題として再構成し、予測を状態と戻り値に拡張する。 D4RLベンチマークロコモーションタスクの実験により,提案手法がトランスモデルにおけるアテンションメカニズムをより効果的に活用できることが判明した。
  論文  参考訳（メタデータ） (2023-08-31T00:47:58Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Contextual Transformer for Offline Meta Reinforcement Learning [16.587320914107128]
  シーケンスモデリングに基づくオフライン強化学習(オフラインRL)アルゴリズムにおいて、プロンプトがどのように改善できるかを示す。 本稿では、条件付きポリシー生成を導くために、入力とコンテキストベクトル列をテキスト化するオフラインRLのプロンプトチューニングを提案する。 フレームワークをメタRL設定に拡張し,CMT(Contextual Meta Transformer)を提案する。
  論文  参考訳（メタデータ） (2022-11-15T10:00:14Z)
• Dynamic Graph Representation Learning via Graph Transformer Networks [41.570839291138114]
  動的グラフ変換器 (DGT) を用いた動的グラフ学習手法を提案する。 DGTは、グラフトポロジを効果的に学習し、暗黙のリンクをキャプチャするための時空間符号化を持つ。 DGTはいくつかの最先端のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-19T21:44:23Z)
• TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
  我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。 我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
  論文  参考訳（メタデータ） (2021-05-17T15:33:25Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。