論文の概要: Top-Down Processing: Top-Down Network Combines Back-Propagation with
Attention
- arxiv url: http://arxiv.org/abs/2306.02415v1
- Date: Sun, 4 Jun 2023 17:38:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 17:55:53.633451
- Title: Top-Down Processing: Top-Down Network Combines Back-Propagation with
Attention
- Title(参考訳): トップダウン処理:トップダウンネットワークはバックプロパゲーションと注意を組み合わせる
- Authors: Roy Abel, Shimon Ullman
- Abstract要約: ディープラーニングモデルにおけるトップダウン処理は、学習と注意を向ける2つの主要な役割を担います。
本稿では,標準ボトムアップネットワークを対称トップダウンネットワークと統合可能な,新しい対称ボトムアップトップダウンネットワーク構造を提案する。
提案手法は,標準的なマルチタスク学習ベンチマーク上での競合性能を実現する。
- 参考スコア(独自算出の注目度): 6.47243430672461
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Early neural network models relied exclusively on bottom-up processing going
from the input signals to higher-level representations. Many recent models also
incorporate top-down networks going in the opposite direction. Top-down
processing in deep learning models plays two primary roles: learning and
directing attention. These two roles are accomplished in current models through
distinct mechanisms. While top-down attention is often implemented by extending
the model's architecture with additional units that propagate information from
high to low levels of the network, learning is typically accomplished by an
external learning algorithm such as back-propagation. In the current work, we
present an integration of the two functions above, which appear unrelated,
using a single unified mechanism. We propose a novel symmetric bottom-up
top-down network structure that can integrate standard bottom-up networks with
a symmetric top-down counterpart, allowing each network to guide and influence
the other. The same top-down network is being used for both learning, via
back-propagating feedback signals, and at the same time also for top-down
attention, by guiding the bottom-up network to perform a selected task. We show
that our method achieves competitive performance on a standard multi-task
learning benchmark. Yet, we rely on standard single-task architectures and
optimizers, without any task-specific parameters. Additionally, our learning
algorithm addresses in a new way some neuroscience issues that arise in
biological modeling of learning in the brain.
- Abstract(参考訳): 初期のニューラルネットワークモデルは、入力信号から高レベル表現へのボトムアップ処理にのみ依存していた。
最近のモデルでは、トップダウンネットワークも反対方向に進んでいる。
ディープラーニングモデルにおけるトップダウン処理は、学習と注意を向ける2つの主要な役割を果たす。
これら2つの役割は、異なるメカニズムを通じて現在のモデルで達成される。
トップダウンの注意は、しばしば、ネットワークの高レベルから低レベルまで情報を伝達する追加ユニットでモデルのアーキテクチャを拡張することで実装されるが、学習は通常、バックプロパゲーションのような外部学習アルゴリズムによって行われる。
現在の研究では、単一統一機構を用いて上記の2つの関数の統合を示すが、これは無関係であるように見える。
本稿では,標準ボトムアップネットワークを対称なトップダウンネットワークと統合し,各ネットワークが相互に誘導し,影響を及ぼせるような,新しい対称ボトムアップトップダウンネットワーク構造を提案する。
同じトップダウンネットワークは、バックプロパゲーションフィードバック信号による学習と、ボトムアップネットワークを誘導して選択したタスクを実行することで、トップダウン注意のための学習の両方に使用されている。
本手法は, 標準マルチタスク学習ベンチマークにおいて, 競合性能が得られることを示す。
しかし、タスク固有のパラメータなしで、標準のシングルタスクアーキテクチャとオプティマイザに依存しています。
さらに、学習アルゴリズムは、脳内の学習の生物学的モデリングで生じる神経科学の問題に新しい方法で対処します。
関連論文リスト
- Aux-NAS: Exploiting Auxiliary Labels with Negligibly Extra Inference Cost [73.28626942658022]
本研究の目的は,独立タスク(副次タスク)から追加の補助ラベルを活用することで,タスクのパフォーマンスを向上させることである。
本手法は,主タスクと補助タスクのための柔軟な非対称構造を持つアーキテクチャに基づく。
VGG、ResNet、ViTのバックボーンを使用して、NYU v2、CityScapes、Taskonomyデータセット上の6つのタスクで実験を行った。
論文 参考訳(メタデータ) (2024-05-09T11:50:19Z) - EMA-Net: Efficient Multitask Affinity Learning for Dense Scene
Predictions [7.01633634930651]
マルチタスク親和性学習ネットワーク(EMA-Net)について紹介する。
EMA-Netは、我々の新しいクロスタスク親和性学習(CTAL)モジュールを用いて、ローカル、グローバル、およびクロスタスクのインタラクションを適応的にキャプチャする。
この結果から,CNNを用いたデコーダに着目したモデルに対して,最先端のMTL性能を実現することができた。
論文 参考訳(メタデータ) (2024-01-20T05:31:47Z) - Cross-task Attention Mechanism for Dense Multi-task Learning [16.040894192229043]
我々は2次元セマンティックセグメンテーションと2つの幾何学的タスク、すなわち密度深度と表面正規度推定を共同で扱う。
相関誘導型注意と自己注意によってペアワイズなクロスタスク交換を利用する,新しいマルチタスク学習アーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-06-17T17:59:45Z) - Medusa: Universal Feature Learning via Attentional Multitasking [65.94499390875046]
マルチタスク学習への最近のアプローチは、デコーダレベルでタスク間の接続をモデル化することに焦点を当てている。
MTLは普遍的特徴学習(Universal Feature Learning, UFL)への一歩であり, 新たなタスクに適用可能な汎用的な特徴を, 再学習することなく学習することができる。
UFLにおけるMedusaの有効性 (+13.18%改善) は, MTL性能を維持しつつ, 従来のアプローチよりも25%効率がよいことを示す。
論文 参考訳(メタデータ) (2022-04-12T10:52:28Z) - Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。
この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。
ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文 参考訳(メタデータ) (2022-02-28T16:07:19Z) - Learning to Relate Depth and Semantics for Unsupervised Domain
Adaptation [87.1188556802942]
教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。
本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。
さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
論文 参考訳(メタデータ) (2021-05-17T13:42:09Z) - Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。
深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
論文 参考訳(メタデータ) (2020-09-10T19:31:04Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳(メタデータ) (2020-07-24T14:44:46Z) - A Unified Object Motion and Affinity Model for Online Multi-Object
Tracking [127.5229859255719]
オブジェクトの動きと親和性モデルを単一のネットワークに統一する新しいMOTフレームワークUMAを提案する。
UMAは、単一物体追跡とメートル法学習をマルチタスク学習により統合された三重項ネットワークに統合する。
我々は,タスク認識機能学習を促進するために,タスク固有のアテンションモジュールを装備する。
論文 参考訳(メタデータ) (2020-03-25T09:36:43Z) - MILA: Multi-Task Learning from Videos via Efficient Inter-Frame
Attention [39.45800143159756]
我々は、フレーム間局所的効率的な注意(MILA)によるビデオからのマルチタスク学習のための新しいアプローチを提案する。
提案手法は,フレーム間のタスク固有の注意を学習可能な,新しいフレーム間注意モジュールを含む。
また,ネットワークの遅さと高速さを両立させる効果的な対角学習戦略を提案する。
論文 参考訳(メタデータ) (2020-02-18T04:25:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。