論文の概要: Hierarchical RNNs-Based Transformers MADDPG for Mixed
Cooperative-Competitive Environments
- arxiv url: http://arxiv.org/abs/2105.04888v1
- Date: Tue, 11 May 2021 09:22:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-12 13:46:18.938920
- Title: Hierarchical RNNs-Based Transformers MADDPG for Mixed
Cooperative-Competitive Environments
- Title（参考訳）: 混合協調競合環境のための階層的RNN変換器MADDPG
- Authors: Xiaolong Wei, LiFang Yang, Xianglin Huang, Gang Cao, Tao Zhulin,
Zhengyang Du, Jing An
- Abstract要約: 本稿では,RNN をベースとした階層変換器 MADDPG を提案し,階層変換器 HRTMADDPG と呼ぶ。
RNNに基づく低レベルエンコーダで構成され、各タイムシーケンスで複数のステップサイズをエンコードし、また、複数のシーケンス間の相関を学習するためのトランスフォーマーに基づく上位シーケンスレベルのエンコーダで構成されています。
- 参考スコア（独自算出の注目度）: 1.9241821314180374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: At present, attention mechanism has been widely applied to the fields of deep
learning models. Structural models that based on attention mechanism can not
only record the relationships between features position, but also can measure
the importance of different features based on their weights. By establishing
dynamically weighted parameters for choosing relevant and irrelevant features,
the key information can be strengthened, and the irrelevant information can be
weakened. Therefore, the efficiency of deep learning algorithms can be
significantly elevated and improved. Although transformers have been performed
very well in many fields including reinforcement learning, there are still many
problems and applications can be solved and made with transformers within this
area. MARL (known as Multi-Agent Reinforcement Learning) can be recognized as a
set of independent agents trying to adapt and learn through their way to reach
the goal. In order to emphasize the relationship between each MDP decision in a
certain time period, we applied the hierarchical coding method and validated
the effectiveness of this method. This paper proposed a hierarchical
transformers MADDPG based on RNN which we call it Hierarchical RNNs-Based
Transformers MADDPG(HRTMADDPG). It consists of a lower level encoder based on
RNNs that encodes multiple step sizes in each time sequence, and it also
consists of an upper sequence level encoder based on transformer for learning
the correlations between multiple sequences so that we can capture the causal
relationship between sub-time sequences and make HRTMADDPG more efficient.
- Abstract（参考訳）: 現在,深層学習モデルの分野に注目のメカニズムが広く適用されている。
注意機構に基づく構造モデルは、特徴位置間の関係を記録するだけでなく、その重みに基づいて異なる特徴の重要性を測定することもできる。
重要かつ無関係な特徴を選択するための動的重み付けパラメータを確立することにより、キー情報を強化でき、無関係な情報を弱めることができる。
したがって、ディープラーニングアルゴリズムの効率を大幅に向上し、改善することができる。
トランスフォーマーは強化学習を含む多くの分野で非常によく行われているが、まだ多くの問題があり、この領域でトランスフォーマーを使って解くことができる。
MARL(Multi-Agent Reinforcement Learning)は、目標達成に向けて適応し、学習しようとする独立したエージェントの集合として認識することができる。
一定期間における各MDP決定の関連性を強調するため,階層的符号化法を適用し,本手法の有効性を検証した。
本稿では、RNNをベースとした階層変換器MADDPGを提案し、階層変換器MADDPG(HRTMADDPG)と呼ぶ。
RNNをベースとした低レベルのエンコーダで、各時系列で複数のステップサイズをエンコードすると同時に、複数のシーケンス間の相関関係を学習するためのトランスフォーマに基づく上位シーケンスレベルのエンコーダからなり、サブタイムシーケンス間の因果関係をキャプチャし、より効率的にする。
関連論文リスト
- Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers [56.264673865476986]
本稿では、Transformerモデルを強化するためのSLA(Skip-Layer Attention)を提案する。
SLAは、高レベルの抽象機能と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善します。
我々の実装は、与えられたレイヤ内のクエリが、現在のレイヤと前のレイヤの両方のキーと値とやり取りできるようにすることで、Transformerの機能を拡張します。
論文 参考訳（メタデータ） (2024-06-17T07:24:38Z) - An Effective-Efficient Approach for Dense Multi-Label Action Detection [23.100602876056165]
i)時間的依存関係と(ii)共起行動関係を同時に学習する必要がある。
近年のアプローチは階層型トランスフォーマーネットワークによるマルチスケール特徴抽出による時間情報のモデル化である。
我々はこれを階層設計における複数のサブサンプリングプロセスと組み合わせることで、位置情報のさらなる喪失につながると論じている。
論文 参考訳（メタデータ） (2024-06-10T11:33:34Z) - CFPFormer: Feature-pyramid like Transformer Decoder for Segmentation and Detection [1.837431956557716]
特徴ピラミッドは、医療画像のセグメンテーションやオブジェクト検出といったタスクのために、畳み込みニューラルネットワーク(CNN)やトランスフォーマーで広く採用されている。
本稿では,特徴ピラミッドと変圧器を統合したデコーダブロックを提案する。
本モデルでは,既存手法と比較して,小型物体の検出性能が向上する。
論文 参考訳（メタデータ） (2024-04-23T18:46:07Z) - Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。
特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。
このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
論文 参考訳（メタデータ） (2023-11-20T17:35:44Z) - PAT: Position-Aware Transformer for Dense Multi-Label Action Detection [36.39340228621982]
ビデオ中の複雑な時間的共起動作依存を学習するトランスフォーマーベースのネットワークであるPATを提案する。
自己認識機構に相対的な位置エンコーディングを組み込み、マルチスケールの時間的関係を利用する。
提案手法の有効性を2つの厳密なマルチラベルベンチマークデータセットを用いて評価した。
論文 参考訳（メタデータ） (2023-08-09T16:29:31Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳（メタデータ） (2023-02-20T07:46:14Z) - Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。
我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。
提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
論文 参考訳（メタデータ） (2022-03-15T06:52:25Z) - Hierarchical Multimodal Transformer to Summarize Videos [103.47766795086206]
変換器の大成功とビデオの自然な構造(フレームショットビデオ)に触発された階層変換器は,映像要約のために開発された。
2種類の情報を統合するために、2ストリーム方式で符号化し、階層変換器に基づいて多モード融合機構を開発する。
実際、広範な実験により、HMTは従来のRNNベースおよび注意に基づくビデオ要約手法のほとんどを超越していることが示された。
論文 参考訳（メタデータ） (2021-09-22T07:38:59Z) - Regularizing Transformers With Deep Probabilistic Layers [62.997667081978825]
本研究では,BERT に深層生成モデルを含めることで,より汎用的なモデルを実現する方法を示す。
トランスフォーマーだけでなく、最も関連性の高いエンコーダデコーダベースのLM, seq2seqでも、注意なく有効であることを示す。
論文 参考訳（メタデータ） (2021-08-23T10:17:02Z) - Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。
提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
論文 参考訳（メタデータ） (2021-05-29T05:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。