論文の概要: Exploiting Transformer in Reinforcement Learning for Interpretable
Temporal Logic Motion Planning
- arxiv url: http://arxiv.org/abs/2209.13220v1
- Date: Tue, 27 Sep 2022 07:41:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 16:25:54.084033
- Title: Exploiting Transformer in Reinforcement Learning for Interpretable
Temporal Logic Motion Planning
- Title（参考訳）: 時相論理動作計画のための強化学習における変圧器の活用
- Authors: Hao Zhang, Hao Wang, and Zhen Kan
- Abstract要約: 我々はT2TL(Double-Transformer-Guided Temporal Logic framework)を開発した。
Transformerの構造的特徴を2回利用し、まずTransformerモジュール経由で命令をエンコードし、トレーニング中のタスク命令を効率的に理解し、次にTransformerを介してコンテキスト変数を再度エンコードしてタスクのパフォーマンスを向上させる。
シミュレーションと実験により,T2TLフレームワークの有効性が示された。
- 参考スコア（独自算出の注目度）: 9.801466218905604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automaton based approaches have enabled robots to perform various complex
tasks. However, most existing automaton based algorithms highly rely on the
manually customized representation of states for the considered task, limiting
its applicability in deep reinforcement learning algorithms. To address this
issue, by incorporating Transformer into reinforcement learning, we develop a
Double-Transformer-guided Temporal Logic framework (T2TL) that exploits the
structural feature of Transformer twice, i.e., first encoding the LTL
instruction via the Transformer module for efficient understanding of task
instructions during the training and then encoding the context variable via the
Transformer again for improved task performance. Particularly, the LTL
instruction is specified by co-safe LTL. As a semantics-preserving rewriting
operation, LTL progression is exploited to decompose the complex task into
learnable sub-goals, which not only converts non-Markovian reward decision
process to Markovian ones, but also improves the sampling efficiency by
simultaneous learning of multiple sub-tasks. An environment-agnostic LTL
pre-training scheme is further incorporated to facilitate the learning of the
Transformer module resulting in improved representation of LTL. The simulation
and experiment results demonstrate the effectiveness of the T2TL framework.
- Abstract（参考訳）: オートマトンベースのアプローチにより、ロボットは様々な複雑なタスクを実行できる。
しかし、既存のオートマトンベースのアルゴリズムの多くは、検討されたタスクの状態を手動でカスタマイズすることで、深い強化学習アルゴリズムの適用性を制限している。
この問題に対処するため,Transformer を強化学習に組み込むことで,Transformer の構造的特徴,すなわち Transformer モジュールを介して LTL 命令を符号化して,トレーニング中のタスク命令を効率的に理解し,さらに Transformer を通じてコンテキスト変数を符号化することで,タスク性能を向上する,Double-Transformer ガイダンスのテンポラル論理フレームワーク (T2TL) を開発した。
特に ltl 命令は co-safe ltl で指定される。
セマンティクス保存リライト操作として、ltlプログレスは複雑なタスクを学習可能なサブゴールに分解し、非マルコフ的報酬決定プロセスをマルコフ的タスクに変換するだけでなく、複数のサブタスクを同時に学習することでサンプリング効率を向上させる。
環境に依存しないTLL事前学習スキームが組み込まれ、Transformerモジュールの学習が容易になり、LTLの表現が向上する。
シミュレーションと実験により,T2TLフレームワークの有効性が示された。
関連論文リスト
- On the Learn-to-Optimize Capabilities of Transformers in In-Context Sparse Recovery [15.164710897163099]
K層変換器は, 証明可能な収束率を持つL2OアルゴリズムをK層に線形に実行可能であることを示す。
従来のL2Oアルゴリズムとは違って、トレーニングにおいて測定行列に一致させる必要があるが、トレーニングされたTransformerは、異なる測定行列で生成されたスパースリカバリ問題を解くことができる。
論文 参考訳（メタデータ） (2024-10-17T19:18:28Z) - Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers [56.264673865476986]
本稿では、Transformerモデルを強化するためのSLA(Skip-Layer Attention)を提案する。
SLAは、高レベルの抽象機能と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善します。
我々の実装は、与えられたレイヤ内のクエリが、現在のレイヤと前のレイヤの両方のキーと値とやり取りできるようにすることで、Transformerの機能を拡張します。
論文 参考訳（メタデータ） (2024-06-17T07:24:38Z) - Logic Synthesis with Generative Deep Neural Networks [20.8279111910994]
我々は、Circuit Transformerモデルに基づく論理合成書き換え演算子「ctrw」(Circuit Transformer Rewriting)を導入する。
本稿では,論理学に適した回路変換器の2段階学習方式を提案する。
我々はまた、Circuit Transformerと最先端の書き直し技術を統合してスケーラビリティの問題に対処し、DAG対応の書き直しをガイドできるようにする。
論文 参考訳（メタデータ） (2024-06-07T07:16:40Z) - SPION: Layer-Wise Sparse Training of Transformer via Convolutional Flood
Filling [1.0128808054306186]
本稿では,畳み込みフィルタとフラッドフィリング法を統合したトランスフォーマーの新しいスペーサー方式を提案する。
我々のスパーシフィケーションアプローチは、トレーニング中のTransformerの計算複雑性とメモリフットプリントを低減する。
New SPIONは、既存の最先端スパーストランスモデルよりも最大3.08倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2023-09-22T02:14:46Z) - Deformable Mixer Transformer with Gating for Multi-Task Learning of
Dense Prediction [126.34551436845133]
CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。
本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
論文 参考訳（メタデータ） (2023-08-10T17:37:49Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:31Z) - Learning Bounded Context-Free-Grammar via LSTM and the
Transformer:Difference and Explanations [51.77000472945441]
Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。
実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。
本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
論文 参考訳（メタデータ） (2021-12-16T19:56:44Z) - TransCMD: Cross-Modal Decoder Equipped with Transformer for RGB-D
Salient Object Detection [86.94578023985677]
本研究では,グローバルな情報アライメントと変革の観点から,この課題を再考する。
具体的には、トランスCMD(TransCMD)は、複数のクロスモーダル統合ユニットをカスケードして、トップダウントランスフォーマーベースの情報伝達経路を構築する。
7つのRGB-D SODベンチマークデータセットの実験結果から、単純な2ストリームエンコーダデコーダフレームワークが、最先端のCNNベースの手法を超越できることが示されている。
論文 参考訳（メタデータ） (2021-12-04T15:45:34Z) - Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。
十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-05-20T17:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。