論文の概要: Understanding How Encoder-Decoder Architectures Attend

• arxiv url: http://arxiv.org/abs/2110.15253v1
• Date: Thu, 28 Oct 2021 16:11:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 19:27:48.945991
• Title: Understanding How Encoder-Decoder Architectures Attend
• Title（参考訳）: エンコーダ-デコーダアーキテクチャの理解
• Authors: Kyle Aitken, Vinay V Ramasesh, Yuan Cao, Niru Maheswaranathan
• Abstract要約: 本研究では,エンコーダ・デコーダ・ネットワークがシーケンス・ツー・シーケンスの異なるタスクをどのように解決するかを検討する。 シーケンス上に隠された状態を時間的および入力駆動のコンポーネントに分解する方法を導入する。 その結果,注目型エンコーダデコーダネットワークの内部動作に関する新たな知見が得られた。
• 参考スコア（独自算出の注目度）: 14.58444227212134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Encoder-decoder networks with attention have proven to be a powerful way to solve many sequence-to-sequence tasks. In these networks, attention aligns encoder and decoder states and is often used for visualizing network behavior. However, the mechanisms used by networks to generate appropriate attention matrices are still mysterious. Moreover, how these mechanisms vary depending on the particular architecture used for the encoder and decoder (recurrent, feed-forward, etc.) are also not well understood. In this work, we investigate how encoder-decoder networks solve different sequence-to-sequence tasks. We introduce a way of decomposing hidden states over a sequence into temporal (independent of input) and input-driven (independent of sequence position) components. This reveals how attention matrices are formed: depending on the task requirements, networks rely more heavily on either the temporal or input-driven components. These findings hold across both recurrent and feed-forward architectures despite their differences in forming the temporal components. Overall, our results provide new insight into the inner workings of attention-based encoder-decoder networks.
• Abstract（参考訳）: 注意深いエンコーダ-デコーダネットワークは、多くのシーケンス-シーケンスタスクを解決する強力な方法であることが証明されている。 これらのネットワークでは、注意はエンコーダとデコーダの状態に一致し、しばしばネットワークの振る舞いを可視化するために使用される。 しかし、適切な注意行列を生成するためにネットワークが使用するメカニズムはまだ謎である。 さらに、これらのメカニズムがエンコーダやデコーダ(リカレント、フィードフォワードなど)に使用される特定のアーキテクチャによってどのように異なるかもよく分かっていない。 本研究では,エンコーダ-デコーダネットワークが異なるシーケンス-シーケンスタスクをどのように解決するかを検討する。 本研究では,シーケンス上の隠れた状態を時間的(入力非依存)と入力駆動(シーケンス位置非依存)に分解する方法を提案する。 タスクの要求に応じて、ネットワークは時間的または入力駆動のコンポーネントに依存します。 これらの知見は、時間成分の形成に違いがあるにもかかわらず、繰り返しおよびフィードフォワードアーキテクチャの両方にまたがる。 全体として,注意に基づくエンコーダ・デコーダネットワークの内部動作に関する新たな知見を提供する。

関連論文リスト

• PottsMGNet: A Mathematical Explanation of Encoder-Decoder Based Neural Networks [7.668812831777923]
  アルゴリズムの観点から,エンコーダ・デコーダに基づくネットワークアーキテクチャについて検討する。 画像分割には2相ポッツモデルを用いる。 離散的なPottsMGNetはエンコーダ-デコーダベースネットワークと等価であることを示す。
  論文  参考訳（メタデータ） (2023-07-18T07:48:48Z)
• Correlation Pyramid Network for 3D Single Object Tracking [16.694809791177263]
  本稿では,統合エンコーダとモーションファクターデコーダを備えた新しい相関ピラミッドネットワーク(CorpNet)を提案する。 CorpNetは、リアルタイムに実行しながら最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-05-16T06:07:20Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• A Study of Autoregressive Decoders for Multi-Tasking in Computer Vision [93.90545426665999]
  マルチモーダルコンピュータビジョンにおけるマルチタスク学習のための自動回帰デコーダについて詳しく検討する。 鍵となる発見は、凍結した事前訓練されたエンコーダの上で学んだ小さなデコーダが驚くほどうまく機能していることである。 これはデコーダに自然言語で事前訓練された視覚モデルと対話するように教えるものであると見なすことができる。
  論文  参考訳（メタデータ） (2023-03-30T13:42:58Z)
• Towards Diverse Binary Segmentation via A Simple yet General Gated Network [71.19503376629083]
  本稿では,バイナリセグメンテーションタスクに対処するシンプルな汎用ネットワーク(GateNet)を提案する。 多段ゲートユニットの助けを借りて、エンコーダからの貴重なコンテキスト情報をデコーダに選択的に送信することができる。 我々は,アトーラスの畳み込みを改善し,新規な折り畳み畳み畳み畳み畳み込みを形成する「Fold」操作を導入した。
  論文  参考訳（メタデータ） (2023-03-18T11:26:36Z)
• Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems [38.672160430296536]
  トランスフォーマーモデルは、要約を含む幅広いNLPタスクにおいて最先端の結果を得た。 これまでの研究は、エンコーダの二次的自己保持機構という、重要なボトルネックに重点を置いてきた。 この研究はトランスのエンコーダ・デコーダのアテンション機構に焦点を当てている。
  論文  参考訳（メタデータ） (2021-09-08T19:32:42Z)
• Decoder Fusion RNN: Context and Interaction Aware Decoders for Trajectory Prediction [53.473846742702854]
  本稿では,動き予測のための反復的,注意に基づくアプローチを提案する。 Decoder Fusion RNN (DF-RNN) は、リカレント動作エンコーダ、エージェント間マルチヘッドアテンションモジュール、コンテキスト認識デコーダで構成される。 提案手法の有効性をArgoverseモーション予測データセットで検証し,その性能を公開ベンチマークで示す。
  論文  参考訳（メタデータ） (2021-08-12T15:53:37Z)
• Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation [56.44853893149365]
  セマンティックセグメンテーションのための単一エンコーダ-デコーダ手法は、セマンティックセグメンテーションの品質とレイヤー数あたりの効率の観点からピークに達している。 そこで本研究では,より多くの情報コンテンツを取得するために,浅層ネットワークの集合を用いたデコーダに基づく新しいアーキテクチャを提案する。 アーキテクチャをさらに改善するために,ネットワークの注目度を高めるために,クラスの再バランスを目的とした重み関数を導入する。
  論文  参考訳（メタデータ） (2020-07-19T18:44:34Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)
• Distributed Evolution of Deep Autoencoders [1.7444066202370399]
  本稿では、効率的な進化アルゴリズムを用いてモジュラーオートエンコーダを設計する分散システムを提案する。 本システムの有効性を,多様体学習と画像復調の課題に適用した。
  論文  参考訳（メタデータ） (2020-04-16T11:31:18Z)
• Consistent Multiple Sequence Decoding [36.46573114422263]
  一貫性のある多重シーケンスデコーディングアーキテクチャを導入する。 このアーキテクチャは任意の数のシーケンスを一貫した同時復号化を可能にする。 重回帰画像キャプションにおける一貫した多重シーケンスデコーダの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-02T00:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。