論文の概要: Learning from Similar Linear Representations: Adaptivity, Minimaxity, and Robustness

• arxiv url: http://arxiv.org/abs/2303.17765v2
• Date: Sun, 16 Jul 2023 06:30:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 22:39:00.944049
• Title: Learning from Similar Linear Representations: Adaptivity, Minimaxity, and Robustness
• Title（参考訳）: 類似した線形表現から学ぶ:適応性、最小性、ロバスト性
• Authors: Ye Tian, Yuqi Gu, Yang Feng
• Abstract要約: 我々は,不整形なタスクを扱いながら,テキストに類似するタスクから学習する方法を研究している。 我々のアルゴリズムは、タスク間の表現が十分に似ていて、不適切なタスクの数が少ない場合、シングルタスクまたはターゲットのみの学習より優れています。
• 参考スコア（独自算出の注目度）: 12.018647792690048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation multi-task learning (MTL) and transfer learning (TL) have achieved tremendous success in practice. However, the theoretical understanding of these methods is still lacking. Most existing theoretical works focus on cases where all tasks share the same representation, and claim that MTL and TL almost always improve performance. However, as the number of tasks grows, assuming all tasks share the same representation is unrealistic. Also, this does not always match empirical findings, which suggest that a shared representation may not necessarily improve single-task or target-only learning performance. In this paper, we aim to understand how to learn from tasks with \textit{similar but not exactly the same} linear representations, while dealing with outlier tasks. With a known intrinsic dimension, we propose two algorithms that are \textit{adaptive} to the similarity structure and \textit{robust} to outlier tasks under both MTL and TL settings. Our algorithms outperform single-task or target-only learning when representations across tasks are sufficiently similar and the fraction of outlier tasks is small. Furthermore, they always perform no worse than single-task learning or target-only learning, even when the representations are dissimilar. We provide information-theoretic lower bounds to show that our algorithms are nearly \textit{minimax} optimal in a large regime. We also propose an algorithm to adapt to the unknown intrinsic dimension. We conduct two simulation studies to verify our theoretical results.
• Abstract（参考訳）: MTL(Representation Multi-task Learning)とTL(Transfer Learning)は実践的に大きな成功を収めている。 しかし、これらの方法の理論的理解はまだ不十分である。 既存の理論的な研究の多くは、全てのタスクが同じ表現を共有している場合に焦点を当てており、MTLとTLはほとんど常に性能を改善していると主張している。 しかし、タスクの数が増えるにつれて、すべてのタスクが同じ表現を共有していると仮定すると、非現実的になる。 また、これは必ずしも経験的な結果と一致せず、共有表現が必ずしもシングルタスクやターゲットのみの学習性能を改善するとは限らないことを示唆している。 本稿では,外れたタスクを扱いながら, \textit{ similar but not exactly the same} 線形表現を用いてタスクから学ぶ方法を理解することを目的とする。 そこで本研究では,MTL と TL の両設定下でのタスクのアウトレイラに対して,類似性構造に対する \textit{adaptive} と \textit{robust} の2つのアルゴリズムを提案する。 私たちのアルゴリズムは、タスク間の表現が十分に似ていて、外れたタスクの割合が小さい場合に、シングルタスクやターゲットのみの学習よりも優れています。 さらに、表現が相違する場合でも、シングルタスク学習やターゲットのみの学習よりも常に悪い結果が得られます。 情報理論的な下限を提供し、我々のアルゴリズムが大規模なシステムにおいてほぼ最適であることを示す。 また,未知の固有次元に適応するアルゴリズムを提案する。 理論的結果を検証するために2つのシミュレーション研究を行う。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• New Tight Relaxations of Rank Minimization for Multi-Task Learning [161.23314844751556]
  2つの正規化項に基づく2つの新しいマルチタスク学習定式化を提案する。 本手法は,タスク間で共有される低ランク構造を正確に復元し,関連するマルチタスク学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-09T07:29:57Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Task-similarity Aware Meta-learning through Nonparametric Kernel Regression [8.801367758434335]
  本稿では,非パラメトリックカーネル回帰を用いたタスク類似性を考慮したメタ学習アルゴリズムを提案する。 我々の仮説は、相似性の使用は、利用可能なタスクが限られており、不整合/相似タスクを含む場合、メタラーニングに役立つというものである。
  論文  参考訳（メタデータ） (2020-06-12T14:15:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。