論文の概要: Trace norm regularization for multi-task learning with scarce data
- arxiv url: http://arxiv.org/abs/2202.06742v1
- Date: Mon, 14 Feb 2022 14:18:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 15:47:54.875013
- Title: Trace norm regularization for multi-task learning with scarce data
- Title(参考訳): 不足データを用いたマルチタスク学習のためのトレースノルム正規化
- Authors: Etienne Boursier and Mikhail Konobeev and Nicolas Flammarion
- Abstract要約: この研究は、タスク毎のサンプル数が少ない場合に、トレースノルム正規化推定器にバウンドされた最初の推定誤差を提供する。
データスカースタスクの学習におけるトレースノルム正規化の利点はメタラーニングにまで拡張され、人工データセット上で経験的に確認される。
- 参考スコア(独自算出の注目度): 20.085733305266572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task learning leverages structural similarities between multiple tasks
to learn despite very few samples. Motivated by the recent success of neural
networks applied to data-scarce tasks, we consider a linear low-dimensional
shared representation model. Despite an extensive literature, existing
theoretical results either guarantee weak estimation rates or require a large
number of samples per task. This work provides the first estimation error bound
for the trace norm regularized estimator when the number of samples per task is
small. The advantages of trace norm regularization for learning data-scarce
tasks extend to meta-learning and are confirmed empirically on synthetic
datasets.
- Abstract(参考訳): マルチタスク学習は、サンプルが少ないにもかかわらず、複数のタスク間の構造的類似性を活用して学習する。
データ収集タスクに適用したニューラルネットワークの最近の成功に動機づけられて,線形低次元共有表現モデルを提案する。
広範な文献にもかかわらず、既存の理論的結果は弱い推定率を保証するか、タスクごとに大量のサンプルを必要とする。
この研究は、タスク当たりのサンプル数が小さい場合にトレースノルム正規化推定器にバインドされた最初の推定誤差を提供する。
データスカースタスクの学習におけるトレースノルム正規化の利点はメタラーニングにまで拡張され、人工データセット上で経験的に確認される。
関連論文リスト
- Fine-Tuning, Prompting, In-Context Learning and Instruction-Tuning: How
Many Labelled Samples Do We Need? [5.630038762653309]
本研究は, 優れた性能を実現するために, 特化モデルに必要なラベル付きサンプル数について検討する。
専門化されたモデルでは、一般的なモデルと同等かそれ以上のサンプル(100~1000ドル)しか必要としないことが多い。
同時に、必要なラベル付きデータの量は、タスクの複雑さと結果のばらつきに強く依存する。
論文 参考訳(メタデータ) (2024-02-20T08:38:24Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-02T14:18:11Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural
Networks [74.4401897731544]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳(メタデータ) (2023-07-13T16:39:08Z) - Pre-training Multi-task Contrastive Learning Models for Scientific
Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。
文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文 参考訳(メタデータ) (2023-05-23T16:47:22Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - Cross-Task Consistency Learning Framework for Multi-Task Learning [9.991706230252708]
2タスクMTL問題に対する新しい学習フレームワークを提案する。
サイクル一貫性損失とコントラスト学習に着想を得た2つの新たな損失項を定義する。
理論的には、どちらの損失もモデルをより効率的に学習する助けとなり、直進予測と整合する点において、クロスタスクの整合性損失がより良いことを証明している。
論文 参考訳(メタデータ) (2021-11-28T11:55:19Z) - BAMLD: Bayesian Active Meta-Learning by Disagreement [39.59987601426039]
本稿では,メタトレーニングタスクのラベル付け要求数を削減するための情報理論アクティブタスク選択機構を提案する。
本稿では,既存の取得メカニズムと比較した実験結果について報告する。
論文 参考訳(メタデータ) (2021-10-19T13:06:51Z) - On the relationship between disentanglement and multi-task learning [62.997667081978825]
ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。
マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
論文 参考訳(メタデータ) (2021-10-07T14:35:34Z) - Sample Efficient Subspace-based Representations for Nonlinear
Meta-Learning [28.2312127482203]
この研究は、バイナリ分類からニューラルネットワークまで、より一般的な非線形タスクのクラスを探求する。
サブスペースに基づく表現をサンプル効率のよい方法で学習できることを証明し、サンプル複雑性の観点から将来のタスクに有益であることを証明する。
論文 参考訳(メタデータ) (2021-02-14T17:40:04Z) - Combat Data Shift in Few-shot Learning with Knowledge Graph [42.59886121530736]
現実世界のアプリケーションでは、少数ショットの学習パラダイムはデータシフトに悩まされることが多い。
既存の少数ショット学習アプローチのほとんどは、データシフトを考慮して設計されていない。
本稿では,タスク固有表現とタスク共有表現を抽出するメタラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-27T12:35:18Z) - Neural Complexity Measures [96.06344259626127]
本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。
我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
論文 参考訳(メタデータ) (2020-08-07T02:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。