論文の概要: Efficient and robust multi-task learning in the brain with modular task primitives

• arxiv url: http://arxiv.org/abs/2105.14108v1
• Date: Fri, 28 May 2021 21:07:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 00:34:54.734103
• Title: Efficient and robust multi-task learning in the brain with modular task primitives
• Title（参考訳）: モジュール型タスクプリミティブを持つ脳における効率的かつ堅牢なマルチタスク学習
• Authors: Christian David Marton, Guillaume Lajoie, Kanaka Rajan
• Abstract要約: タスクプリミティブを具備したモジュールネットワークは,パラメータ数と更新率を低く保ちながら,複数のタスクを適切に学習することができることを示す。 また,本手法により得られたスキルは,他のマルチタスク学習戦略に比べて幅広い摂動に対してより堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 2.6166087473624318
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a real-world setting biological agents do not have infinite resources to learn new things. It is thus useful to recycle previously acquired knowledge in a way that allows for faster, less resource-intensive acquisition of multiple new skills. Neural networks in the brain are likely not entirely re-trained with new tasks, but how they leverage existing computations to learn new tasks is not well understood. In this work, we study this question in artificial neural networks trained on commonly used neuroscience paradigms. Building on recent work from the multi-task learning literature, we propose two ingredients: (1) network modularity, and (2) learning task primitives. Together, these ingredients form inductive biases we call structural and functional, respectively. Using a corpus of nine different tasks, we show that a modular network endowed with task primitives allows for learning multiple tasks well while keeping parameter counts, and updates, low. We also show that the skills acquired with our approach are more robust to a broad range of perturbations compared to those acquired with other multi-task learning strategies. This work offers a new perspective on achieving efficient multi-task learning in the brain, and makes predictions for novel neuroscience experiments in which targeted perturbations are employed to explore solution spaces.
• Abstract（参考訳）: 現実世界では、生物エージェントは新しいことを学ぶための無限の資源を持っていない。 したがって、複数の新しいスキルを素早く、よりリソース集約的に獲得できる方法で、以前獲得した知識をリサイクルするのに役立つ。 脳内のニューラルネットワークは、新しいタスクで完全に再訓練されるわけではないが、新しいタスクを学ぶために既存の計算をどのように活用するかはよく理解されていない。 本研究では,よく用いられる神経科学のパラダイムに基づいて学習したニューラルネットワークを用いて,この問題を考察する。 マルチタスク学習文献の最近の研究に基づいて,(1)ネットワークモジュール性,(2)学習タスクプリミティブの2つの要素を提案する。 これらの成分は、それぞれ構造的および機能的と呼ばれる誘導バイアスを形成する。 9つの異なるタスクのコーパスを使用して、タスクプリミティブを備えたモジュールネットワークは、パラメータ数や更新を低く保ちながら、複数のタスクをうまく学習できることを示します。 また,本手法により得られたスキルは,他のマルチタスク学習戦略に比べて幅広い摂動に対してより堅牢であることを示す。 この研究は、脳内で効率的なマルチタスク学習を実現するための新しい視点を提供し、解空間を探索するために標的摂動を用いる新しい神経科学実験のための予測を行う。

関連論文リスト

• Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning [79.07658065326592]
  推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。 タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。 本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-03T13:08:09Z)
• Continual task learning in natural and artificial agents [4.726777092009554]
  脳記録研究の波は、タスク学習中に神経表現がどのように変化するかを調査している。 ニューロコルテックスにおけるニューラルタスク表現の幾何学と次元性について検討した最近の研究を概観する。 機械学習のアイデアは、神経科学者が生物の脳の中でどのように自然のタスクが学習され、コードされるかを理解するのにどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2022-10-10T09:36:08Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Towards continual task learning in artificial neural networks: current approaches and insights from neuroscience [0.0]
  人間や他の動物が、多様で、しばしば干渉し、知識の範囲を学習する能力は、自然知性の目印である。 人工知能がさまざまなタスクやドメインをまたいで学習できることは、人工知能の明確な目標である。
  論文  参考訳（メタデータ） (2021-12-28T13:50:51Z)
• Multi-Task Neural Processes [105.22406384964144]
  我々はマルチタスク学習のためのニューラル・プロセスの新たな変種であるマルチタスク・ニューラル・プロセスを開発する。 特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索することを提案する。 その結果、マルチタスク学習におけるタスク間の有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示された。
  論文  参考訳（メタデータ） (2021-11-10T17:27:46Z)
• MT-Opt: Continuous Multi-Task Robotic Reinforcement Learning at Scale [103.7609761511652]
  大規模集団ロボット学習システムが,行動のレパートリーを同時に獲得できることを示す。 新しいタスクは、以前学んだタスクから継続的にインスタンス化できる。 我々は,7台のロボットから収集したデータを用いて,実世界のタスク12組でシステムを訓練し,評価する。
  論文  参考訳（メタデータ） (2021-04-16T16:38:02Z)
• One Network Fits All? Modular versus Monolithic Task Formulations in Neural Networks [36.07011014271394]
  単一のニューラルネットワークは,複合データセットから複数のタスクを同時に学習できることを示す。 このような組み合わせタスクの学習の複雑さは、タスクコードの複雑さとともにどのように成長するかを研究する。
  論文  参考訳（メタデータ） (2021-03-29T01:16:42Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Efficient Architecture Search for Continual Learning [36.998565674813285]
  ニューラルネットワークによる継続的な学習は、一連のタスクをうまく学習することを目的としている。 1)悲惨な忘れる問題を克服し、(2)現在のネットワークを新しいタスクに適応させ、(3)モデルの複雑さを制御する、という3つの課題に直面している。 本稿では,CLEAS(Continuous Learning with Efficient Architecture Search)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-07T02:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。