論文の概要: Top-Down Network Combines Back-Propagation with Attention
- arxiv url: http://arxiv.org/abs/2306.02415v2
- Date: Wed, 30 Aug 2023 14:11:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 16:52:06.081082
- Title: Top-Down Network Combines Back-Propagation with Attention
- Title(参考訳): バックプロパゲーションと注意を組み合わせたトップダウンネットワーク
- Authors: Roy Abel, Shimon Ullman
- Abstract要約: 視覚やその他の領域における皮質処理は、ボトムアップ(BU)と広範なトップダウン(TD)処理を組み合わせる。
本稿では,従来のボトムアップネットワークを対称的なトップダウンネットワークと統合可能な,新しい対称なボトムアップトップダウンネットワーク構造を提案する。
提案手法は,標準的なマルチタスク学習ベンチマーク上での競合性能を示す。
- 参考スコア(独自算出の注目度): 3.6683171094134805
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cortical processing, in vision and other domains, combines bottom-up (BU)
with extensive top-down (TD) processing. Two primary goals attributed to TD
processing are learning and directing attention. These two roles are
accomplished in current network models through distinct mechanisms. Attention
guidance is often implemented by extending the model's architecture, while
learning is typically accomplished by an external learning algorithm such as
back-propagation. In the current work, we present an integration of the two
functions above, which appear unrelated, using a single unified mechanism
inspired by the human brain. We propose a novel symmetric bottom-up top-down
network structure that can integrate conventional bottom-up networks with a
symmetric top-down counterpart, allowing each network to recurrently guide and
influence the other. For example, during multi-task learning, the same top-down
network is being used for both learning, via propagating feedback signals, and
at the same time also for top-down attention, by guiding the bottom-up network
to perform a selected task. In contrast with standard models, no external
back-propagation is used for learning. Instead, we propose a 'Counter-Hebb'
learning, which adjusts the weights of both the bottom-up and top-down networks
simultaneously. We show that our method achieves competitive performance on
standard multi-task learning benchmarks. Yet, unlike existing methods, we rely
on single-task architectures and optimizers, without any task-specific
parameters. The results, which show how attention-guided multi-tasks can be
combined efficiently with internal learning in a unified TD process, suggest a
possible model for combining BU and TD processing in human vision.
- Abstract(参考訳): 視覚やその他の領域における皮質処理はボトムアップ(BU)と広範なトップダウン(TD)処理を組み合わせる。
TD処理に起因する2つの主要な目標は、学習と注意の誘導である。
これら2つの役割は、異なるメカニズムを通じて現在のネットワークモデルで達成される。
注意指導はしばしばモデルのアーキテクチャを拡張して実施されるが、学習は通常、バックプロパゲーションのような外部学習アルゴリズムによって行われる。
現在の研究では、人間の脳にインスパイアされた単一の統一メカニズムを用いて、上記の2つの機能の統合を提示する。
本稿では,従来のボトムアップネットワークを対称なトップダウンネットワークと統合し,各ネットワークを反復的にガイドし,相互に影響を及ぼすことのできる,新しい対称ボトムアップトップダウンネットワーク構造を提案する。
例えば、マルチタスク学習では、同じトップダウンネットワークが、フィードバック信号を伝達すると同時に、ボトムアップネットワークを誘導して選択されたタスクを実行することによって、トップダウンの注意を喚起する。
標準モデルとは対照的に、学習に外部バックプロパゲーションは使用されない。
代わりに、ボトムアップネットワークとトップダウンネットワークの両方の重みを同時に調整する'Counter-Hebb'学習を提案する。
提案手法は,標準的なマルチタスク学習ベンチマーク上での競合性能を示す。
しかし、既存のメソッドとは異なり、タスク固有のパラメータなしでシングルタスクアーキテクチャとオプティマイザに依存しています。
統合tdプロセスにおいて,注意誘導型マルチタスクと内部学習を効率的に組み合わせることができることを示す結果から,人間の視覚におけるbu処理とtd処理を組み合わせるモデルが示唆された。
関連論文リスト
- EMA-Net: Efficient Multitask Affinity Learning for Dense Scene
Predictions [7.01633634930651]
マルチタスク親和性学習ネットワーク(EMA-Net)について紹介する。
EMA-Netは、我々の新しいクロスタスク親和性学習(CTAL)モジュールを用いて、ローカル、グローバル、およびクロスタスクのインタラクションを適応的にキャプチャする。
この結果から,CNNを用いたデコーダに着目したモデルに対して,最先端のMTL性能を実現することができた。
論文 参考訳(メタデータ) (2024-01-20T05:31:47Z) - Cross-task Attention Mechanism for Dense Multi-task Learning [16.040894192229043]
我々は2次元セマンティックセグメンテーションと2つの幾何学的タスク、すなわち密度深度と表面正規度推定を共同で扱う。
相関誘導型注意と自己注意によってペアワイズなクロスタスク交換を利用する,新しいマルチタスク学習アーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-06-17T17:59:45Z) - MulT: An End-to-End Multitask Learning Transformer [66.52419626048115]
我々はMulTと呼ばれるエンドツーエンドのマルチタスク学習トランスフォーマフレームワークを提案し、複数のハイレベル視覚タスクを同時に学習する。
本フレームワークは,入力画像を共有表現にエンコードし,タスク固有のトランスフォーマーベースのデコーダヘッドを用いて各視覚タスクの予測を行う。
論文 参考訳(メタデータ) (2022-05-17T13:03:18Z) - Medusa: Universal Feature Learning via Attentional Multitasking [65.94499390875046]
マルチタスク学習への最近のアプローチは、デコーダレベルでタスク間の接続をモデル化することに焦点を当てている。
MTLは普遍的特徴学習(Universal Feature Learning, UFL)への一歩であり, 新たなタスクに適用可能な汎用的な特徴を, 再学習することなく学習することができる。
UFLにおけるMedusaの有効性 (+13.18%改善) は, MTL性能を維持しつつ, 従来のアプローチよりも25%効率がよいことを示す。
論文 参考訳(メタデータ) (2022-04-12T10:52:28Z) - Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。
この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。
ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文 参考訳(メタデータ) (2022-02-28T16:07:19Z) - Learning to Relate Depth and Semantics for Unsupervised Domain
Adaptation [87.1188556802942]
教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。
本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。
さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
論文 参考訳(メタデータ) (2021-05-17T13:42:09Z) - Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。
深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
論文 参考訳(メタデータ) (2020-09-10T19:31:04Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳(メタデータ) (2020-07-24T14:44:46Z) - A Unified Object Motion and Affinity Model for Online Multi-Object
Tracking [127.5229859255719]
オブジェクトの動きと親和性モデルを単一のネットワークに統一する新しいMOTフレームワークUMAを提案する。
UMAは、単一物体追跡とメートル法学習をマルチタスク学習により統合された三重項ネットワークに統合する。
我々は,タスク認識機能学習を促進するために,タスク固有のアテンションモジュールを装備する。
論文 参考訳(メタデータ) (2020-03-25T09:36:43Z) - MILA: Multi-Task Learning from Videos via Efficient Inter-Frame
Attention [39.45800143159756]
我々は、フレーム間局所的効率的な注意(MILA)によるビデオからのマルチタスク学習のための新しいアプローチを提案する。
提案手法は,フレーム間のタスク固有の注意を学習可能な,新しいフレーム間注意モジュールを含む。
また,ネットワークの遅さと高速さを両立させる効果的な対角学習戦略を提案する。
論文 参考訳(メタデータ) (2020-02-18T04:25:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。