論文の概要: Learning from Similar Linear Representations: Adaptivity, Minimaxity, and Robustness

• arxiv url: http://arxiv.org/abs/2303.17765v3
• Date: Fri, 9 Aug 2024 03:26:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 21:11:46.089458
• Title: Learning from Similar Linear Representations: Adaptivity, Minimaxity, and Robustness
• Title（参考訳）: 類似した線形表現から学ぶ:適応性、極小性、ロバスト性
• Authors: Ye Tian, Yuqi Gu, Yang Feng,
• Abstract要約: 我々は,不整形なタスクを扱いながら,テキストに類似するタスクから学習する方法を研究している。 両手法が大局的に最適であることを示すために,情報理論の下限を提供する。 また,未知の固有次元に適応するしきい値アルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 15.14830455376279
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation multi-task learning (MTL) has achieved tremendous success in practice. However, the theoretical understanding of these methods is still lacking. Most existing theoretical works focus on cases where all tasks share the same representation, and claim that MTL almost always improves performance. Nevertheless, as the number of tasks grows, assuming all tasks share the same representation is unrealistic. Furthermore, empirical findings often indicate that a shared representation does not necessarily improve single-task learning performance. In this paper, we aim to understand how to learn from tasks with \textit{similar but not exactly the same} linear representations, while dealing with outlier tasks. Assuming a known intrinsic dimension, we proposed a penalized empirical risk minimization method and a spectral method that are \textit{adaptive} to the similarity structure and \textit{robust} to outlier tasks. Both algorithms outperform single-task learning when representations across tasks are sufficiently similar and the proportion of outlier tasks is small. Moreover, they always perform at least as well as single-task learning, even when the representations are dissimilar. We provided information-theoretic lower bounds to demonstrate that both methods are nearly \textit{minimax} optimal in a large regime, with the spectral method being optimal in the absence of outlier tasks. Additionally, we introduce a thresholding algorithm to adapt to an unknown intrinsic dimension. We conducted extensive numerical experiments to validate our theoretical findings.
• Abstract（参考訳）: MTL(Representation Multi-task Learning)は,実践において大きな成功を収めている。 しかし、これらの手法の理論的理解はいまだに欠如している。 既存の理論的な研究のほとんどは、全てのタスクが同じ表現を共有している場合に焦点を当てており、MTLは常に性能を改善していると主張している。 それでも、タスクの数が増えるにつれて、すべてのタスクが同じ表現を共有していると仮定すると、非現実的である。 さらに、経験的発見は、共有表現が必ずしもシングルタスク学習性能を向上しないことを示すことが多い。 本稿では,不規則なタスクを扱いながら,‘textit{similar’の線形表現を用いてタスクから学習する方法を理解することを目的とする。 そこで本研究では,経験的リスク最小化法とスペクトル法を提案し,類似性構造と類似性構造との類似性について検討した。 どちらのアルゴリズムも、タスク間の表現が十分に似ていて、外れたタスクの割合が小さい場合、シングルタスク学習より優れている。 さらに、表現が異なっていたとしても、少なくともシングルタスク学習と同様に、常に実行されます。 我々は,両手法が大局的にほぼ最適であることを示すために,情報理論の下限を提供し,スペクトル法は外乱タスクの欠如において最適であることを示した。 さらに,未知の固有次元に適応するしきい値アルゴリズムを導入する。 理論的な結果を検証するため,広範囲な数値実験を行った。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• New Tight Relaxations of Rank Minimization for Multi-Task Learning [161.23314844751556]
  2つの正規化項に基づく2つの新しいマルチタスク学習定式化を提案する。 本手法は,タスク間で共有される低ランク構造を正確に復元し,関連するマルチタスク学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-09T07:29:57Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Task-similarity Aware Meta-learning through Nonparametric Kernel Regression [8.801367758434335]
  本稿では,非パラメトリックカーネル回帰を用いたタスク類似性を考慮したメタ学習アルゴリズムを提案する。 我々の仮説は、相似性の使用は、利用可能なタスクが限られており、不整合/相似タスクを含む場合、メタラーニングに役立つというものである。
  論文  参考訳（メタデータ） (2020-06-12T14:15:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。