Fugu-MT 論文翻訳(概要): Exploiting Task Relationships for Continual Learning Using Transferability-Aware Task Embeddings

論文の概要: Exploiting Task Relationships for Continual Learning Using Transferability-Aware Task Embeddings

arxiv url: http://arxiv.org/abs/2502.11609v2
Date: Sat, 14 Jun 2025 18:40:38 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-17 15:15:29.903244
Title: Exploiting Task Relationships for Continual Learning Using Transferability-Aware Task Embeddings
Title（参考訳）: 伝達可能性を考慮したタスク埋め込みを用いた連続学習のためのタスク関係の爆発的生成
Authors: Yanru Wu, Jianning Wang, Xiangyu Chen, Enming Zhang, Yang Tan, Hanbing Liu, Yang Li,
Abstract要約: 連続学習(CL)は、現代のディープニューラルネットワークアプリケーションにおいて重要なトピックである。本稿では、H埋め込みと呼ばれるトランスファービリティを考慮したタスク埋め込みを提案し、そのガイダンスに基づいてハイパーネットフレームワークを構築する。
参考スコア（独自算出の注目度）: 8.814732457885022
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual learning (CL) has been a critical topic in contemporary deep neural network applications, where higher levels of both forward and backward transfer are desirable for an effective CL performance. Existing CL strategies primarily focus on task models, either by regularizing model updates or by separating task-specific and shared components, while often overlooking the potential of leveraging inter-task relationships to enhance transfer. To address this gap, we propose a transferability-aware task embedding, termed H-embedding, and construct a hypernet framework under its guidance to learn task-conditioned model weights for CL tasks. Specifically, H-embedding is derived from an information theoretic measure of transferability and is designed to be online and easy to compute. Our method is also characterized by notable practicality, requiring only the storage of a low-dimensional task embedding per task and supporting efficient end-to-end training. Extensive evaluations on benchmarks including CIFAR-100, ImageNet-R, and DomainNet show that our framework performs prominently compared to various baseline and SOTA approaches, demonstrating strong potential in capturing and utilizing intrinsic task relationships. Our code is publicly available at https://anonymous.4open.science/r/H-embedding_guided_hypernet/.
Abstract（参考訳）: 連続学習(CL)は、今日のディープニューラルネットワークアプリケーションにおいて重要なトピックであり、効果的なCL性能には、前向きと後向きの転送の両方のより高いレベルが望ましい。既存のCL戦略は、モデル更新の正規化やタスク固有のコンポーネントと共有コンポーネントの分離など、タスクモデルに重点を置いている。このギャップに対処するために,H埋め込みと呼ばれる伝達可能性を考慮したタスク埋め込みを提案し,その指導の下でハイパーネットフレームワークを構築し,CLタスクのタスク条件付きモデル重みを学習する。具体的には、H埋め込みは、転送可能性に関する情報理論の尺度から派生し、オンラインで容易に計算できるように設計されている。また,本手法は,タスクごとの低次元タスク埋め込みの保存のみを必要とし,エンドツーエンドの効率的な学習を支援することによる,顕著な実用性も特徴である。 CIFAR-100, ImageNet-R, DomainNet などのベンチマークを総合的に評価した結果,本フレームワークは様々なベースラインやSOTAアプローチと比較して顕著に機能し,本質的なタスク関係を捕捉し活用する可能性を示している。私たちのコードはhttps://anonymous.4open.science/r/H-embedding_guided_hypernet/で公開されています。

関連論文リスト

CODE-CL: COnceptor-Based Gradient Projection for DEep Continual Learning [7.573297026523597]
我々は,Deep Continual Learning (CODE-CL) のためのConceptor-based gradient projectionを導入する。 CODE-CLは、過去のタスクの入力空間における方向的重要性を符号化し、新しい知識統合を1-S$で変調する。概念に基づく表現を用いてタスク重複を分析し,高い相関性を持つタスクを同定する。
論文参考訳（メタデータ） (2024-11-21T22:31:06Z)
Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
論文参考訳（メタデータ） (2024-11-18T08:20:21Z)
Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks [27.59758964060561]
トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
論文参考訳（メタデータ） (2024-01-27T03:03:30Z)
Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文参考訳（メタデータ） (2023-11-23T15:46:54Z)
Dense Network Expansion for Class Incremental Learning [61.00081795200547]
最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
論文参考訳（メタデータ） (2023-03-22T16:42:26Z)
Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文参考訳（メタデータ） (2022-11-14T19:53:15Z)
Task-Agnostic Continual Reinforcement Learning: Gaining Insights and Overcoming Challenges [27.474011433615317]
連続学習(CL)は、一連のタスクから学習するモデルやエージェントの開発を可能にする。タスクに依存しないCLとマルチタスク(MTL)エージェントのパフォーマンス差に寄与する要因について検討する。
論文参考訳（メタデータ） (2022-05-28T17:59:00Z)
A Dirichlet Process Mixture of Robust Task Models for Scalable Lifelong Reinforcement Learning [11.076005074172516]
強化学習アルゴリズムは、生涯ストリーミング情報に直面すると、破滅的な忘れ物や干渉に容易に遭遇する。本稿では,ネットワーク容量を動的に拡張し,新たな知識に適合する拡張寿命RL法を提案する。提案手法は,拡張寿命の長いRLの実現に成功し,既存の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-05-22T09:48:41Z)
Theoretical Understanding of the Information Flow on Continual Learning Performance [2.741266294612776]
連続学習(Continuous Learning, CL)とは、エージェントがデータストリームから連続的に学習しなければならない設定である。ネットワーク内の情報フローとCL性能の関係について検討し,「層間情報フローの知識はCFを緩和するためにどのように利用できるのか?」という疑問に答える。我々の分析は、段階的なタスク学習プロセスにおいて、レイヤ内の情報適応に関する新しい洞察を提供する。
論文参考訳（メタデータ） (2022-04-26T00:35:58Z)
Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文参考訳（メタデータ） (2020-04-29T02:32:04Z)
Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文参考訳（メタデータ） (2020-03-21T02:08:17Z)
Automated Relational Meta-learning [95.02216511235191]
本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2020-01-03T07:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。