論文の概要: Similarity-Aware Mixture-of-Experts for Data-Efficient Continual Learning

• arxiv url: http://arxiv.org/abs/2603.23436v1
• Date: Tue, 24 Mar 2026 17:10:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.602362
• Title: Similarity-Aware Mixture-of-Experts for Data-Efficient Continual Learning
• Title（参考訳）: データ効率のよい連続学習のための類似性と知識の混合
• Authors: Connor Mclaughlin, Nigel Lee, Lili Su,
• Abstract要約: 機械学習モデルは、デプロイ後に新しいデータに適応する必要があることが多い。 既存のアプローチのほとんどは、各タスクに十分な数のデータサンプルが含まれていると仮定するか、学習タスクが重複していないと仮定する。 本稿では,タスク間の類似性認識を確立するための,事前学習モデルに対する適応型ミックス・オブ・エキスパート・フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.80245005994754
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Machine learning models often need to adapt to new data after deployment due to structured or unstructured real-world dynamics. The Continual Learning (CL) framework enables continuous model adaptation, but most existing approaches either assume each task contains sufficiently many data samples or that the learning tasks are non-overlapping. In this paper, we address the more general setting where each task may have a limited dataset, and tasks may overlap in an arbitrary manner without a priori knowledge. This general setting is substantially more challenging for two reasons. On the one hand, data scarcity necessitates effective contextualization of general knowledge and efficient knowledge transfer across tasks. On the other hand, unstructured task overlapping can easily result in negative knowledge transfer. To address the above challenges, we propose an adaptive mixture-of-experts (MoE) framework over pre-trained models that progressively establishes similarity awareness among tasks. Our design contains two innovative algorithmic components: incremental global pooling and instance-wise prompt masking. The former mitigates prompt association noise through gradual prompt introduction over time. The latter decomposes incoming task samples into those aligning with current prompts (in-distribution) and those requiring new prompts (out-of-distribution). Together, our design strategically leverages potential task overlaps while actively preventing negative mutual interference in the presence of per-task data scarcity. Experiments across varying data volumes and inter-task similarity show that our method enhances sample efficiency and is broadly applicable.
• Abstract（参考訳）: 機械学習モデルは、構造化または非構造化された現実世界のダイナミクスのために、デプロイ後に新しいデータに適応する必要があることが多い。 継続的学習(CL)フレームワークは継続的モデル適応を可能にするが、既存のほとんどのアプローチでは、各タスクに十分な数のデータサンプルが含まれているか、学習タスクが重複していないと仮定している。 本稿では、各タスクが限られたデータセットを持ち、タスクが優先知識なしで任意の方法で重複するような、より一般的な設定に対処する。 この一般的な設定は2つの理由からかなり難しい。 一方、データ不足は、一般的な知識の効果的な文脈化とタスク間の効率的な知識伝達を必要とする。 一方、非構造的タスク重複は、容易に負の知識伝達をもたらす。 上記の課題に対処するため,タスク間の類似性認識を段階的に確立する事前学習モデルに対して,適応型混合実験(MoE)フレームワークを提案する。 我々の設計には、インクリメンタルグローバルプールとインスタンスワイドプロンプトマスキングという、2つの革新的なアルゴリズムコンポーネントが含まれている。 前者は、段階的に段階的な導入を通じて、関連性ノイズを緩和する。 後者は、受信したタスクサンプルを現在のプロンプト(配信中)と新しいプロンプト(配信外)に整合したものに分解する。 本設計では,タスク毎のデータ不足の有無において,負の相互干渉を積極的に防止しつつ,潜在的なタスク重複を戦略的に活用する。 各種データ量およびタスク間類似性実験により,本手法はサンプル効率を向上し,広く適用可能であることが示された。

関連論文リスト

• These Are Not All the Features You Are Looking For: A Fundamental Bottleneck in Supervised Pretraining [10.749875317643031]
  トランスファーラーニングは、最新の機械学習の基盤であり、幅広いデータで事前訓練されたモデルを、最小限の新しいデータで新しいタスクに適応する方法を約束する。 本研究では,各タスクに対する事前学習混合物からのモデル伝達を評価し,事前学習した特徴がタスク固有の直接訓練のパフォーマンスに適合するかどうかを評価する。 ディープラーニングモデルでは、トレーニング中に同様の機能をエンコードすると、ネットワークが新しい機能を学習できないという、基本的な制限を特定します。
  論文  参考訳（メタデータ） (2025-06-23T01:04:29Z)
• Federated Continual Instruction Tuning [39.344583304181135]
  フェデレートラーニング(FL)は、すべての分散データとトレーニングリソースを活用して、共同トレーニングのオーバーヘッドを軽減する可能性がある。 本稿では,この実世界の課題をモデル化するために,FCIT(Federated Continual Instruction Tuning)ベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-03-17T07:58:06Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning [9.571499333904969]
  補助的なタスクは、データが不足したり、関心の主タスクが極めて複雑である状況での学習を容易にする。 Detauxと呼ばれる新しいフレームワークを提案する。このフレームワークでは,非関連性のある新たな補助的分類タスクを見つけるために,弱い教師付き逆絡手順が使用される。 切り離し手順は表現レベルで機能し、主タスクに関連する変動を孤立した部分空間に分離する。
  論文  参考訳（メタデータ） (2023-10-13T17:40:39Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。