論文の概要: Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural Networks with Attention over Modules

• arxiv url: http://arxiv.org/abs/2006.16981v3
• Date: Sun, 15 Nov 2020 18:34:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-11-15 04:19:03.932892
• Title: Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural Networks with Attention over Modules
• Title（参考訳）: モジュールに注目したリカレントニューラルネットワークにおけるトップダウン信号とボトムアップ信号の結合学習
• Authors: Sarthak Mittal, Alex Lamb, Anirudh Goyal, Vikram Voleti, Murray Shanahan, Guillaume Lajoie, Michael Mozer, Yoshua Bengio
• Abstract要約: ロバスト知覚はボトムアップ信号とトップダウン信号の両方に依存している。 ボトムアップ信号とトップダウン信号が動的に結合されるディープリカレントニューラルネットワークアーキテクチャについて検討する。 言語モデリング、逐次画像分類、映像予測、強化学習における様々なベンチマークにおいて、遠方方向情報フローが強いベースライン上で結果を改善することを実証する。
• 参考スコア（独自算出の注目度）: 81.1967157385085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust perception relies on both bottom-up and top-down signals. Bottom-up signals consist of what's directly observed through sensation. Top-down signals consist of beliefs and expectations based on past experience and short-term memory, such as how the phrase `peanut butter and~...' will be completed. The optimal combination of bottom-up and top-down information remains an open question, but the manner of combination must be dynamic and both context and task dependent. To effectively utilize the wealth of potential top-down information available, and to prevent the cacophony of intermixed signals in a bidirectional architecture, mechanisms are needed to restrict information flow. We explore deep recurrent neural net architectures in which bottom-up and top-down signals are dynamically combined using attention. Modularity of the architecture further restricts the sharing and communication of information. Together, attention and modularity direct information flow, which leads to reliable performance improvements in perceptual and language tasks, and in particular improves robustness to distractions and noisy data. We demonstrate on a variety of benchmarks in language modeling, sequential image classification, video prediction and reinforcement learning that the \emph{bidirectional} information flow can improve results over strong baselines.
• Abstract（参考訳）: ロバスト知覚はボトムアップ信号とトップダウン信号の両方に依存する。 ボトムアップ信号は感覚を通して直接観測される信号からなる。 トップダウン信号は、過去の経験と短期記憶に基づく信念と期待で構成され、例えば「ピーナッツバターと~...」というフレーズが完成する。 ボトムアップとトップダウンの情報の組み合わせは依然としてオープンな問題だが、組み合わせの方法は動的で、コンテキストとタスクに依存する必要がある。 利用可能な潜在的なトップダウン情報の富を効果的に活用し、双方向アーキテクチャにおける混在信号のカコフォニーを防止するためには、情報フローを制限するメカニズムが必要である。 ボトムアップ信号とトップダウン信号が動的に結合されるディープリカレントニューラルネットワークアーキテクチャについて検討する。 アーキテクチャのモジュール化は、情報の共有と通信をさらに制限します。 注意とモジュール性によって直接的な情報フローが向上し、知覚的および言語的タスクのパフォーマンスが向上し、特に邪魔や騒がしいデータに対する堅牢性が向上する。 本稿では,言語モデリング,逐次画像分類,映像予測,強化学習における様々なベンチマークについて,強いベースライン上での情報フローが改善できることを実証する。

関連論文リスト

• LLHA-Net: A Hierarchical Attention Network for Two-View Correspondence Learning [33.76961965760301]
  本稿では階層型アテンションネットワーク(Layer-by-Layer Hierarchical Attention Network)という新しい手法を提案する。 コンピュータビジョンにおける特徴点マッチングの精度を向上させる。 本手法は, ステージ融合, 階層抽出, ネットワークの表現能力向上のためのアテンション機構を含む。
  論文  参考訳（メタデータ） (2025-12-31T04:25:53Z)
• QoSDiff: An Implicit Topological Embedding Learning Framework Leveraging Denoising Diffusion and Adversarial Attention for Robust QoS Prediction [5.632045399777709]
  本稿では,明示的なグラフ構築の前提条件を回避した新しい埋め込み学習フレームワークであるemphQoSDiffを紹介する。 これらの課題に対処するために,明示的なグラフ構築の前提条件を回避した新しい埋め込み学習フレームワークであるemphQoSDiffを紹介する。
  論文  参考訳（メタデータ） (2025-12-04T09:17:26Z)
• Sensory robustness through top-down feedback and neural stochasticity in recurrent vision models [0.9188951403098383]
  我々は、トップダウンフィードバックプロジェクションの有無のイメージ分類について、畳み込みリカレントニューラルネットワーク(ConvRNN)を訓練した。 トップダウンフィードバックを持つConvRNNは、ノイズの摂動や敵の攻撃に対して、顕著な速度精度のトレードオフと堅牢性を示した。
  論文  参考訳（メタデータ） (2025-08-09T22:51:50Z)
• Semantic Item Graph Enhancement for Multimodal Recommendation [49.66272783945571]
  マルチモーダルレコメンデーションシステムは、商品のマルチモーダル情報を活用することで、パフォーマンスの向上に注目が集まっている。 先行する手法は、しばしばモダリティ固有のアイテム・イテム意味グラフを生のモダリティの特徴から構築する。 これらのセマンティックグラフは、アイテム間の協調信号のモデリングが不十分ななど、セマンティックな欠陥に悩まされている。
  論文  参考訳（メタデータ） (2025-08-08T09:20:50Z)
• Mitigating Attention Hacking in Preference-Based Reward Modeling via Interaction Distillation [62.14692332209628]
  インタラクション蒸留(Interaction Distillation)は、注意レベル最適化によるより適切な嗜好モデリングのための新しいトレーニングフレームワークである。 最先端のRM最適化法と比較して、より安定で一般化可能な報酬信号を提供する。
  論文  参考訳（メタデータ） (2025-08-04T17:06:23Z)
• Reversible Decoupling Network for Single Image Reflection Removal [15.763420129991255]
  高レベルのセマンティックなヒントは、層間伝播中に圧縮または破棄される傾向がある。 我々はReversible Decoupling Network (RDNet)と呼ばれる新しいアーキテクチャを提案する。 RDNetは可逆エンコーダを使用して、転送時と反射時の特徴を柔軟に分離しながら、貴重な情報を確保する。
  論文  参考訳（メタデータ） (2024-10-10T15:58:27Z)
• Connectivity-Inspired Network for Context-Aware Recognition [1.049712834719005]
  視覚認知に対処するために,生体脳の回路モチーフを取り入れることの効果に焦点をあてる。 私たちの畳み込みアーキテクチャは、人間の皮質と皮質下の流れの接続にインスパイアされています。 我々はコンテキスト認識をモデル化するための新しいプラグイン・アンド・プレイ・モジュールを提案する。
  論文  参考訳（メタデータ） (2024-09-06T15:42:10Z)
• Self-Attention-Based Contextual Modulation Improves Neural System Identification [2.784365807133169]
  一次視覚野の皮質ニューロンは、水平およびフィードバック接続によって媒介される文脈情報に敏感である。 CNNはグローバルなコンテキスト情報を統合し、連続的な畳み込みと完全に接続された読み出し層という2つのメカニズムを通じてコンテキスト変調をモデル化する。 自己アテンションは、パラメータマッチングされたCNNよりも2つの重要な指標であるチューニング曲線相関とピークチューニングにおいて、ニューラルネットワークの応答予測を改善することができる。
  論文  参考訳（メタデータ） (2024-06-12T03:21:06Z)
• Self-Contrastive Graph Diffusion Network [1.14219428942199]
  我々は、自己コントラストグラフ拡散ネットワーク(SCGDN)と呼ばれる新しいフレームワークを提案する。 私たちのフレームワークは、注意モジュール(AttM)と拡散モジュール(DiFM)の2つの主要コンポーネントで構成されています。 既存の方法論とは異なり、SCGDNは「サンプリングバイアス」や意味的ドリフトを避ける拡張自由なアプローチである。
  論文  参考訳（メタデータ） (2023-07-27T04:00:23Z)
• Multi-Agent Feedback Enabled Neural Networks for Intelligent Communications [28.723523146324002]
  本稿では,新しいマルチエージェントフィードバック対応ニューラルネットワーク(MAFENN)フレームワークを提案する。 MAFENNフレームワークは理論的には3人プレイのFeedback Stackelbergゲームに定式化され、このゲームはFeedback Stackelberg平衡に収束することが証明される。 無線通信におけるMAFENNフレームワークの実現可能性を検証するため,マルチエージェントMAFENNベースの等化器(MAFENN-E)を開発した。
  論文  参考訳（メタデータ） (2022-05-22T05:28:43Z)
• Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent Signals: Application to Hyperspectral Imaging [71.57324258813675]
  相互依存信号のデータセットは、列が強い依存を示す行列として定義される。 ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。 ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
  論文  参考訳（メタデータ） (2022-03-29T21:00:39Z)
• On the benefits of robust models in modulation recognition [53.391095789289736]
  畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。 画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。 最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-27T19:58:06Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。