論文の概要: Task-Aware Information Routing from Common Representation Space in Lifelong Learning

• arxiv url: http://arxiv.org/abs/2302.11346v1
• Date: Tue, 14 Feb 2023 16:25:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-26 13:22:40.787776
• Title: Task-Aware Information Routing from Common Representation Space in Lifelong Learning
• Title（参考訳）: 生涯学習における共通表現空間からのタスク認識情報ルーティング
• Authors: Prashant Bhat, Bahram Zonooz and Elahe Arani
• Abstract要約: 人間は、統合された知識にほとんど干渉しないタスク間で知識を取得し、統合し、伝達する。 本稿では,タスク固有の情報を取得するためのタスクアテンションモジュールを含む連続学習手法TAMiLを提案する。 本手法は,タスク待ち時間バイアスの低減を図りながら,破滅的忘れを効果的に軽減することを示す。
• 参考スコア（独自算出の注目度）: 14.674494335647841
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Intelligent systems deployed in the real world suffer from catastrophic forgetting when exposed to a sequence of tasks. Humans, on the other hand, acquire, consolidate, and transfer knowledge between tasks that rarely interfere with the consolidated knowledge. Accompanied by self-regulated neurogenesis, continual learning in the brain is governed by a rich set of neurophysiological processes that harbor different types of knowledge, which are then integrated by conscious processing. Thus, inspired by the Global Workspace Theory of conscious information access in the brain, we propose TAMiL, a continual learning method that entails task-attention modules to capture task-specific information from the common representation space. We employ simple, undercomplete autoencoders to create a communication bottleneck between the common representation space and the global workspace, allowing only the task-relevant information to the global workspace, thus greatly reducing task interference. Experimental results show that our method outperforms state-of-the-art rehearsal-based and dynamic sparse approaches and bridges the gap between fixed capacity and parameter isolation approaches while being scalable. We also show that our method effectively mitigates catastrophic forgetting while being well-calibrated with reduced task-recency bias.
• Abstract（参考訳）: 現実世界に展開されるインテリジェントなシステムは、一連のタスクに晒されると破滅的な忘れがちです。 一方、人間は統合された知識にほとんど干渉しないタスク間で知識を取得し、統合し、伝達する。 自己制御神経新生を伴い、脳内の連続的な学習は、様々な種類の知識を持つ豊富な神経生理学的プロセスによって制御され、意識的な処理によって統合される。 そこで,脳における意識情報アクセスのグローバルワークスペース理論に触発されて,タスクアテンションモジュールを伴い,共通表現空間からタスク固有情報を取り込む連続学習手法であるtamilを提案する。 我々は、共通表現空間とグローバルワークスペースの間の通信ボトルネックを作成するために、単純で不完全なオートエンコーダを使用し、グローバルワークスペースへのタスク関連情報のみを可能にする。 実験の結果,本手法は最先端リハーサルベースおよび動的スパースアプローチよりも優れており,スケーラブルでありながら,固定容量とパラメータ分離アプローチのギャップを橋渡ししていることがわかった。 また,本手法はタスク・レジリエンスバイアスの低減とよく対応しつつ,壊滅的な忘れを効果的に緩和することを示す。

関連論文リスト

• Selective Exploration and Information Gathering in Search and Rescue Using Hierarchical Learning Guided by Natural Language Input [5.522800137785975]
  本稿では,大規模言語モデル(LLM)と階層的強化学習(HRL)フレームワークを連携させるシステムを提案する。 提案システムは,人間の利害関係者からの言語入力を実用的なRLインサイトへ翻訳し,検索戦略を調整するように設計されている。 LLMによる人為的情報の利用とHRLによるタスク実行の構造化により、長い地平線とスパース報酬を特徴とする環境におけるエージェントの学習効率と意思決定プロセスを大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-20T12:27:47Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Incremental procedural and sensorimotor learning in cognitive humanoid robots [52.77024349608834]
  本研究は,手順を段階的に学習する認知エージェントを提案する。 各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。 結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
  論文  参考訳（メタデータ） (2023-04-30T22:51:31Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• AFEC: Active Forgetting of Negative Transfer in Continual Learning [37.03139674884091]
  生物学的ニューラルネットワークは、新しい経験の学習と矛盾する古い知識を積極的に忘れることができることを示す。 生物の能動的忘れをきっかけに,新たな課題の学習を制限し,継続的な学習に役立てる古い知識を積極的に忘れることを提案する。
  論文  参考訳（メタデータ） (2021-10-23T10:03:19Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Domain-Robust Visual Imitation Learning with Mutual Information Constraints [0.0]
  Disentangling Generative Adversarial Imitation Learning (DisentanGAIL)と呼ばれる新しいアルゴリズムを導入する。 本アルゴリズムは,タスクを実行する専門家の高次元観察から自律エージェントを直接学習することを可能にする。
  論文  参考訳（メタデータ） (2021-03-08T21:18:58Z)
• Learning Transferable Concepts in Deep Reinforcement Learning [0.7161783472741748]
  感覚入力の離散的な表現を学習することで、複数のタスクに共通するハイレベルな抽象化が得られることを示す。 特に,情報理論のアプローチに従って,自己超越によってそのような表現を学習することは可能であることを示す。 本手法は, 未知タスクと未知タスクの両方において, サンプル効率を高めるための, 機関車および最適制御タスクの概念を学習することができる。
  論文  参考訳（メタデータ） (2020-05-16T04:45:51Z)
• Weakly-Supervised Reinforcement Learning for Controllable Behavior [126.04932929741538]
  強化学習(Reinforcement Learning、RL)は、タスクを解決するために行動を取るための学習のための強力なフレームワークである。 多くの設定において、エージェントは、現在解決するよう求められている単一のタスクに対して、不可能なほど大きなタスク空間を放棄しなければならない。 我々は,この意味論的意味のあるタスクのサブスペースを,非意味的な「チャフ」タスクの巨大な空間から自動的に切り離すために,弱い監督を利用するフレームワークを導入する。
  論文  参考訳（メタデータ） (2020-04-06T17:50:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。