論文の概要: Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural Networks with Attention over Modules

• arxiv url: http://arxiv.org/abs/2006.16981v3
• Date: Sun, 15 Nov 2020 18:34:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 04:19:03.932892
• Title: Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural Networks with Attention over Modules
• Title（参考訳）: モジュールに注目したリカレントニューラルネットワークにおけるトップダウン信号とボトムアップ信号の結合学習
• Authors: Sarthak Mittal, Alex Lamb, Anirudh Goyal, Vikram Voleti, Murray Shanahan, Guillaume Lajoie, Michael Mozer, Yoshua Bengio
• Abstract要約: ロバスト知覚はボトムアップ信号とトップダウン信号の両方に依存している。 ボトムアップ信号とトップダウン信号が動的に結合されるディープリカレントニューラルネットワークアーキテクチャについて検討する。 言語モデリング、逐次画像分類、映像予測、強化学習における様々なベンチマークにおいて、遠方方向情報フローが強いベースライン上で結果を改善することを実証する。
• 参考スコア（独自算出の注目度）: 81.1967157385085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust perception relies on both bottom-up and top-down signals. Bottom-up signals consist of what's directly observed through sensation. Top-down signals consist of beliefs and expectations based on past experience and short-term memory, such as how the phrase `peanut butter and~...' will be completed. The optimal combination of bottom-up and top-down information remains an open question, but the manner of combination must be dynamic and both context and task dependent. To effectively utilize the wealth of potential top-down information available, and to prevent the cacophony of intermixed signals in a bidirectional architecture, mechanisms are needed to restrict information flow. We explore deep recurrent neural net architectures in which bottom-up and top-down signals are dynamically combined using attention. Modularity of the architecture further restricts the sharing and communication of information. Together, attention and modularity direct information flow, which leads to reliable performance improvements in perceptual and language tasks, and in particular improves robustness to distractions and noisy data. We demonstrate on a variety of benchmarks in language modeling, sequential image classification, video prediction and reinforcement learning that the \emph{bidirectional} information flow can improve results over strong baselines.
• Abstract（参考訳）: ロバスト知覚はボトムアップ信号とトップダウン信号の両方に依存する。 ボトムアップ信号は感覚を通して直接観測される信号からなる。 トップダウン信号は、過去の経験と短期記憶に基づく信念と期待で構成され、例えば「ピーナッツバターと~...」というフレーズが完成する。 ボトムアップとトップダウンの情報の組み合わせは依然としてオープンな問題だが、組み合わせの方法は動的で、コンテキストとタスクに依存する必要がある。 利用可能な潜在的なトップダウン情報の富を効果的に活用し、双方向アーキテクチャにおける混在信号のカコフォニーを防止するためには、情報フローを制限するメカニズムが必要である。 ボトムアップ信号とトップダウン信号が動的に結合されるディープリカレントニューラルネットワークアーキテクチャについて検討する。 アーキテクチャのモジュール化は、情報の共有と通信をさらに制限します。 注意とモジュール性によって直接的な情報フローが向上し、知覚的および言語的タスクのパフォーマンスが向上し、特に邪魔や騒がしいデータに対する堅牢性が向上する。 本稿では,言語モデリング,逐次画像分類,映像予測,強化学習における様々なベンチマークについて,強いベースライン上での情報フローが改善できることを実証する。

関連論文リスト

• Reversible Decoupling Network for Single Image Reflection Removal [15.763420129991255]
  高レベルのセマンティックなヒントは、層間伝播中に圧縮または破棄される傾向がある。 我々はReversible Decoupling Network (RDNet)と呼ばれる新しいアーキテクチャを提案する。 RDNetは可逆エンコーダを使用して、転送時と反射時の特徴を柔軟に分離しながら、貴重な情報を確保する。
  論文  参考訳（メタデータ） (2024-10-10T15:58:27Z)
• Connectivity-Inspired Network for Context-Aware Recognition [1.049712834719005]
  視覚認知に対処するために,生体脳の回路モチーフを取り入れることの効果に焦点をあてる。 私たちの畳み込みアーキテクチャは、人間の皮質と皮質下の流れの接続にインスパイアされています。 我々はコンテキスト認識をモデル化するための新しいプラグイン・アンド・プレイ・モジュールを提案する。
  論文  参考訳（メタデータ） (2024-09-06T15:42:10Z)
• Self-Attention-Based Contextual Modulation Improves Neural System Identification [2.784365807133169]
  一次視覚野の皮質ニューロンは、水平およびフィードバック接続によって媒介される文脈情報に敏感である。 CNNはグローバルなコンテキスト情報を統合し、連続的な畳み込みと完全に接続された読み出し層という2つのメカニズムを通じてコンテキスト変調をモデル化する。 自己アテンションは、パラメータマッチングされたCNNよりも2つの重要な指標であるチューニング曲線相関とピークチューニングにおいて、ニューラルネットワークの応答予測を改善することができる。
  論文  参考訳（メタデータ） (2024-06-12T03:21:06Z)
• Self-Contrastive Graph Diffusion Network [1.14219428942199]
  我々は、自己コントラストグラフ拡散ネットワーク(SCGDN)と呼ばれる新しいフレームワークを提案する。 私たちのフレームワークは、注意モジュール(AttM)と拡散モジュール(DiFM)の2つの主要コンポーネントで構成されています。 既存の方法論とは異なり、SCGDNは「サンプリングバイアス」や意味的ドリフトを避ける拡張自由なアプローチである。
  論文  参考訳（メタデータ） (2023-07-27T04:00:23Z)
• Multi-Agent Feedback Enabled Neural Networks for Intelligent Communications [28.723523146324002]
  本稿では,新しいマルチエージェントフィードバック対応ニューラルネットワーク(MAFENN)フレームワークを提案する。 MAFENNフレームワークは理論的には3人プレイのFeedback Stackelbergゲームに定式化され、このゲームはFeedback Stackelberg平衡に収束することが証明される。 無線通信におけるMAFENNフレームワークの実現可能性を検証するため,マルチエージェントMAFENNベースの等化器(MAFENN-E)を開発した。
  論文  参考訳（メタデータ） (2022-05-22T05:28:43Z)
• Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent Signals: Application to Hyperspectral Imaging [71.57324258813675]
  相互依存信号のデータセットは、列が強い依存を示す行列として定義される。 ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。 ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
  論文  参考訳（メタデータ） (2022-03-29T21:00:39Z)
• On the benefits of robust models in modulation recognition [53.391095789289736]
  畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。 画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。 最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-27T19:58:06Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。