論文の概要: Exploiting Transformer in Sparse Reward Reinforcement Learning for
Interpretable Temporal Logic Motion Planning
- arxiv url: http://arxiv.org/abs/2209.13220v2
- Date: Mon, 17 Jul 2023 06:08:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 00:17:15.243340
- Title: Exploiting Transformer in Sparse Reward Reinforcement Learning for
Interpretable Temporal Logic Motion Planning
- Title(参考訳): 解釈可能な時相論理動作計画のためのスパース報酬強化学習におけるトランスフォーマーの活用
- Authors: Hao Zhang, Hao Wang, and Zhen Kan
- Abstract要約: オートマトンベースのアルゴリズムは、考慮されたタスクに対して、手動でカスタマイズされた状態表現に依存する。
本研究では,Transformer の構造的特徴を2回活用する Double-Transformer-Guided Temporal Logic framework (T2TL) を開発した。
セマンティクスとして、複雑なタスクを学習可能なサブゴールに分解するために進行を利用する。
- 参考スコア(独自算出の注目度): 9.801466218905604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automaton based approaches have enabled robots to perform various complex
tasks. However, most existing automaton based algorithms highly rely on the
manually customized representation of states for the considered task, limiting
its applicability in deep reinforcement learning algorithms. To address this
issue, by incorporating Transformer into reinforcement learning, we develop a
Double-Transformer-guided Temporal Logic framework (T2TL) that exploits the
structural feature of Transformer twice, i.e., first encoding the LTL
instruction via the Transformer module for efficient understanding of task
instructions during the training and then encoding the context variable via the
Transformer again for improved task performance. Particularly, the LTL
instruction is specified by co-safe LTL. As a semantics-preserving rewriting
operation, LTL progression is exploited to decompose the complex task into
learnable sub-goals, which not only converts non-Markovian reward decision
processes to Markovian ones, but also improves the sampling efficiency by
simultaneous learning of multiple sub-tasks. An environment-agnostic LTL
pre-training scheme is further incorporated to facilitate the learning of the
Transformer module resulting in an improved representation of LTL. The
simulation results demonstrate the effectiveness of the T2TL framework.
- Abstract(参考訳): オートマトンベースのアプローチにより、ロボットは様々な複雑なタスクを実行できる。
しかし、既存のオートマトンベースのアルゴリズムの多くは、検討されたタスクの状態を手動でカスタマイズすることで、深い強化学習アルゴリズムの適用性を制限している。
この問題に対処するため,Transformer を強化学習に組み込むことで,Transformer の構造的特徴,すなわち Transformer モジュールを介して LTL 命令を符号化して,トレーニング中のタスク命令を効率的に理解し,さらに Transformer を通じてコンテキスト変数を符号化することで,タスク性能を向上する,Double-Transformer ガイダンスのテンポラル論理フレームワーク (T2TL) を開発した。
特に ltl 命令は co-safe ltl で指定される。
セマンティックス保存リライト操作として、LTLプログレクションを用いて複雑なタスクを学習可能なサブゴールに分解し、非マルコフ報酬決定過程をマルコフ報酬に変換するだけでなく、複数のサブタスクを同時に学習することでサンプリング効率を向上させる。
環境に依存しないTLL事前学習スキームが組み込まれ、Transformerモジュールの学習が容易になり、LTLの表現が向上する。
シミュレーションの結果,T2TLフレームワークの有効性が示された。
関連論文リスト
- How Do Transformers Learn In-Context Beyond Simple Functions? A Case
Study on Learning with Representations [98.7450564309923]
本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。
合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。
理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
論文 参考訳(メタデータ) (2023-10-16T17:40:49Z) - SPION: Layer-Wise Sparse Training of Transformer via Convolutional Flood
Filling [1.0128808054306186]
本稿では,畳み込みフィルタとフラッドフィリング法を統合したトランスフォーマーの新しいスペーサー方式を提案する。
我々のスパーシフィケーションアプローチは、トレーニング中のTransformerの計算複雑性とメモリフットプリントを低減する。
New SPIONは、既存の最先端スパーストランスモデルよりも最大3.08倍のスピードアップを実現している。
論文 参考訳(メタデータ) (2023-09-22T02:14:46Z) - Deformable Mixer Transformer with Gating for Multi-Task Learning of
Dense Prediction [126.34551436845133]
CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。
本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
論文 参考訳(メタデータ) (2023-08-10T17:37:49Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳(メタデータ) (2023-06-07T17:59:31Z) - Transformers as Algorithms: Generalization and Implicit Model Selection
in In-context Learning [23.677503557659705]
In-context Learning (ICL) は、トランスフォーマーモデルが一連の例で動作し、オンザフライで推論を行うプロンプトの一種である。
我々は,このトランスモデルを学習アルゴリズムとして扱い,推論時別のターゲットアルゴリズムを実装するためのトレーニングを通じて専門化することができる。
変換器は適応学習アルゴリズムとして機能し、異なる仮説クラス間でモデル選択を行うことができることを示す。
論文 参考訳(メタデータ) (2023-01-17T18:31:12Z) - Learning Bounded Context-Free-Grammar via LSTM and the
Transformer:Difference and Explanations [51.77000472945441]
Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。
実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。
本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
論文 参考訳(メタデータ) (2021-12-16T19:56:44Z) - TransCMD: Cross-Modal Decoder Equipped with Transformer for RGB-D
Salient Object Detection [86.94578023985677]
本研究では,グローバルな情報アライメントと変革の観点から,この課題を再考する。
具体的には、トランスCMD(TransCMD)は、複数のクロスモーダル統合ユニットをカスケードして、トップダウントランスフォーマーベースの情報伝達経路を構築する。
7つのRGB-D SODベンチマークデータセットの実験結果から、単純な2ストリームエンコーダデコーダフレームワークが、最先端のCNNベースの手法を超越できることが示されている。
論文 参考訳(メタデータ) (2021-12-04T15:45:34Z) - I-BERT: Inductive Generalization of Transformer to Arbitrary Context
Lengths [2.604653544948958]
自己注意は、自然言語処理のための最先端のシーケンス・ツー・シーケンスモデルの重要な構成要素として現れてきた。
位置エンコーディングをリカレント層に置き換える双方向トランスであるI-BERTを提案する。
論文 参考訳(メタデータ) (2020-06-18T00:56:12Z) - Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。
十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-05-20T17:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。