論文の概要: Few-shot Multi-Task Learning of Linear Invariant Features with Meta Subspace Pursuit

• arxiv url: http://arxiv.org/abs/2409.02708v1
• Date: Wed, 4 Sep 2024 13:44:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 18:06:50.001145
• Title: Few-shot Multi-Task Learning of Linear Invariant Features with Meta Subspace Pursuit
• Title（参考訳）: メタ部分空間探索を用いた線形不変特徴量のマルチタスク学習
• Authors: Chaozhi Zhang, Lin Liu, Xiaoqun Zhang,
• Abstract要約: メタサブスペース探索法(Meta-SPと略す)と呼ばれる新しいアルゴリズムを提案する。 そこで我々はMeta-SP(Meta Subspace Pursuit)と呼ばれる新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 9.421309916099428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data scarcity poses a serious threat to modern machine learning and artificial intelligence, as their practical success typically relies on the availability of big datasets. One effective strategy to mitigate the issue of insufficient data is to first harness information from other data sources possessing certain similarities in the study design stage, and then employ the multi-task or meta learning framework in the analysis stage. In this paper, we focus on multi-task (or multi-source) linear models whose coefficients across tasks share an invariant low-rank component, a popular structural assumption considered in the recent multi-task or meta learning literature. Under this assumption, we propose a new algorithm, called Meta Subspace Pursuit (abbreviated as Meta-SP), that provably learns this invariant subspace shared by different tasks. Under this stylized setup for multi-task or meta learning, we establish both the algorithmic and statistical guarantees of the proposed method. Extensive numerical experiments are conducted, comparing Meta-SP against several competing methods, including popular, off-the-shelf model-agnostic meta learning algorithms such as ANIL. These experiments demonstrate that Meta-SP achieves superior performance over the competing methods in various aspects.
• Abstract（参考訳）: データ不足は現代の機械学習と人工知能に深刻な脅威をもたらす。 不十分なデータの問題を軽減するための効果的な戦略の1つは、まず研究設計段階で一定の類似性を持つ他のデータソースからの情報を活用し、分析段階ではマルチタスクまたはメタ学習フレームワークを使用することである。 本稿では,タスク間の係数が不変な低ランク成分を共有するマルチタスク(あるいはマルチソース)線形モデルに焦点をあてる。 そこで我々は,メタサブスペース探索法(Meta-SPと略す)と呼ばれる新しいアルゴリズムを提案し,異なるタスクで共有されるこの不変部分空間を確実に学習する。 マルチタスクやメタ学習のためのスタイリングされたセットアップでは,提案手法のアルゴリズム的保証と統計的保証の両方を確立する。 一般市販のモデル非依存メタ学習アルゴリズムであるANILなど,Meta-SPと競合するいくつかの手法を比較して,大規模な数値実験を行った。 これらの実験により,Meta-SPは様々な面で競合する手法よりも優れた性能を発揮することが示された。

関連論文リスト

• Multi-modal Semantic Understanding with Contrastive Cross-modal Feature Alignment [11.897888221717245]
  マルチモーダルな特徴アライメントを実現するためのCLIP誘導型コントラスト学習型アーキテクチャを提案する。 我々のモデルはタスク固有の外部知識を使わずに実装が簡単であり、そのため、他のマルチモーダルタスクに容易に移行できる。
  論文  参考訳（メタデータ） (2024-03-11T01:07:36Z)
• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)
• Multi-Task Learning with Summary Statistics [4.871473117968554]
  様々な情報源からの要約統計を利用した柔軟なマルチタスク学習フレームワークを提案する。 また,Lepskiの手法の変種に基づく適応パラメータ選択手法を提案する。 この研究は、さまざまな領域にわたる関連するモデルをトレーニングするための、より柔軟なツールを提供する。
  論文  参考訳（メタデータ） (2023-07-05T15:55:23Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Multimodality in Meta-Learning: A Comprehensive Survey [34.69292359136745]
  このサーベイは、マルチモーダリティに基づくメタラーニングの展望を概観する。 我々はまず,メタラーニングとマルチモーダリティの定義と,この成長分野における研究課題を定式化する。 そこで我々は,マルチモーダルタスクと組み合わせた典型的なメタ学習アルゴリズムを体系的に議論する新しい分類法を提案する。
  論文  参考訳（メタデータ） (2021-09-28T09:16:12Z)
• Meta Navigator: Search for a Good Adaptation Policy for Few-shot Learning [113.05118113697111]
  少ないショット学習は、ラベル付きデータしか持たない新しいタスクに、以前のタスクから学んだ知識を適応させることを目的としている。 少数ショット学習に関する研究文献は、大きな多様性を示し、異なるアルゴリズムは、しばしば異なる少数ショット学習シナリオで優れている。 本稿では,メタナビゲータ(Meta Navigator)について紹介する。
  論文  参考訳（メタデータ） (2021-09-13T07:20:01Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。