論文の概要: Beneficial Perturbation Network for designing general adaptive artificial intelligence systems

• arxiv url: http://arxiv.org/abs/2009.13954v2
• Date: Tue, 2 Feb 2021 02:12:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 03:07:36.605145
• Title: Beneficial Perturbation Network for designing general adaptive artificial intelligence systems
• Title（参考訳）: 汎用適応型人工知能システム設計のための有効摂動ネットワーク
• Authors: Shixian Wen, Amanda Rios, Yunhao Ge, Laurent Itti
• Abstract要約: 我々は、動的状況に対応するために、ネットワーク外、タスク依存バイアスユニットを付加した新しいタイプのディープニューラルネットワークを提案する。 我々のアプローチはメモリ効率が高く、パラメータ効率が高く、多くのタスクに対応でき、様々なタスクやドメインで最先端のパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 14.226973149346886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The human brain is the gold standard of adaptive learning. It not only can learn and benefit from experience, but also can adapt to new situations. In contrast, deep neural networks only learn one sophisticated but fixed mapping from inputs to outputs. This limits their applicability to more dynamic situations, where input to output mapping may change with different contexts. A salient example is continual learning - learning new independent tasks sequentially without forgetting previous tasks. Continual learning of multiple tasks in artificial neural networks using gradient descent leads to catastrophic forgetting, whereby a previously learned mapping of an old task is erased when learning new mappings for new tasks. Here, we propose a new biologically plausible type of deep neural network with extra, out-of-network, task-dependent biasing units to accommodate these dynamic situations. This allows, for the first time, a single network to learn potentially unlimited parallel input to output mappings, and to switch on the fly between them at runtime. Biasing units are programmed by leveraging beneficial perturbations (opposite to well-known adversarial perturbations) for each task. Beneficial perturbations for a given task bias the network toward that task, essentially switching the network into a different mode to process that task. This largely eliminates catastrophic interference between tasks. Our approach is memory-efficient and parameter-efficient, can accommodate many tasks, and achieves state-of-the-art performance across different tasks and domains.
• Abstract（参考訳）: 人間の脳は適応学習の金の標準である。 経験から学び、利益を得るだけでなく、新しい状況にも適応できるのです。 対照的に、ディープニューラルネットワークは、入力から出力への洗練された、固定されたマッピングのみを学習する。 これにより適用性がよりダイナミックな状況に制限され、入力から出力マッピングが異なるコンテキストで変化する可能性がある。 新しい独立したタスクを、前のタスクを忘れずにシーケンシャルに学習する。 勾配勾配勾配を用いたニューラルネットワークにおける複数のタスクの連続的な学習は、破滅的な忘れを招き、新しいタスクの新しいマッピングを学ぶ際に、以前のタスクのマッピングが消去される。 本稿では,これらの動的状況に対応するために,ネットワーク外,タスク依存のバイアスユニットを備えた,生物学的に可能な新しい深層ニューラルネットワークを提案する。 これにより、単一のネットワークが初めて、出力マッピングに対する潜在的に無制限な並列入力を学習し、実行時にオンザフライを切り替えることが可能になる。 バイアスユニットは、各タスクに有益な摂動(よく知られた対向的な摂動)を活用することでプログラムされる。 与えられたタスクに対する有益な摂動は、そのタスクに対してネットワークを偏り、そのタスクを処理するためにネットワークを別のモードに切り替える。 これにより、タスク間の破滅的な干渉がなくなる。 我々のアプローチはメモリ効率が高くパラメータ効率が高く、多くのタスクに対応でき、様々なタスクやドメインで最先端のパフォーマンスを実現する。

関連論文リスト

• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• Adaptive Reorganization of Neural Pathways for Continual Learning with Spiking Neural Networks [9.889775504641925]
  神経経路を適応的に再編成する脳にインスパイアされた連続学習アルゴリズムを提案する。 提案モデルでは,様々な連続学習タスクにおいて,性能,エネルギー消費,メモリ容量が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-09-18T07:56:40Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Multi-Task Neural Processes [105.22406384964144]
  我々はマルチタスク学習のためのニューラル・プロセスの新たな変種であるマルチタスク・ニューラル・プロセスを開発する。 特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索することを提案する。 その結果、マルチタスク学習におけるタスク間の有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示された。
  論文  参考訳（メタデータ） (2021-11-10T17:27:46Z)
• Thinking Deeply with Recurrence: Generalizing from Easy to Hard Sequential Reasoning Problems [51.132938969015825]
  我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。 再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
  論文  参考訳（メタデータ） (2021-02-22T14:09:20Z)
• Routing Networks with Co-training for Continual Learning [5.957609459173546]
  連続学習のためのスパースルーティングネットワークを提案する。 各入力に対して、これらのネットワークアーキテクチャは専門家のネットワークを介して異なる経路を活性化する。 実際に,協調学習と呼ぶルーティングネットワークのための新しいトレーニング手法を開発する必要がある。
  論文  参考訳（メタデータ） (2020-09-09T15:58:51Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Auxiliary Learning by Implicit Differentiation [54.92146615836611]
  補助的なタスクによるニューラルネットワークのトレーニングは、関心のあるメインタスクのパフォーマンスを改善するための一般的なプラクティスである。 そこで我々は,暗黙の識別に基づく両課題を対象とした新しいフレームワークAuxiLearnを提案する。 まず、有用な補助関数が知られている場合、全ての損失を1つのコヒーレントな目的関数に組み合わせたネットワークの学習を提案する。 第二に、有用な補助タスクが知られていない場合、意味のある新しい補助タスクを生成するネットワークの学習方法について述べる。
  論文  参考訳（メタデータ） (2020-06-22T19:35:07Z)
• Learning to Branch for Multi-Task Learning [12.49373126819798]
  ネットワーク内の共有や分岐の場所を学習するマルチタスク学習アルゴリズムを提案する。 本稿では,木分岐操作をガムベル・ソフトマックスサンプリング手法として用いる新しい木構造設計空間を提案する。
  論文  参考訳（メタデータ） (2020-06-02T19:23:21Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。