論文の概要: Large Dimensional Analysis and Improvement of Multi Task Learning
- arxiv url: http://arxiv.org/abs/2009.01591v1
- Date: Thu, 3 Sep 2020 11:40:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 07:08:11.067483
- Title: Large Dimensional Analysis and Improvement of Multi Task Learning
- Title（参考訳）: マルチタスク学習の大規模解析と改善
- Authors: Malik Tiomoko, Romain Couillet and Hafiz Tiomoko
- Abstract要約: マルチタスク学習(MTL)は、複数の関連するタスクに含まれる有用な情報を利用して、全てのタスクの一般化性能を向上させる。
本稿では,MLLのLast Square Support Vector Machine (LSSVM) バージョンについて,簡単な解析を行うが,注意深い調整を行うと極めて強力である。
- 参考スコア（独自算出の注目度）: 38.86699890656948
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi Task Learning (MTL) efficiently leverages useful information contained
in multiple related tasks to help improve the generalization performance of all
tasks. This article conducts a large dimensional analysis of a simple but, as
we shall see, extremely powerful when carefully tuned, Least Square Support
Vector Machine (LSSVM) version of MTL, in the regime where the dimension $p$ of
the data and their number $n$ grow large at the same rate.
Under mild assumptions on the input data, the theoretical analysis of the
MTL-LSSVM algorithm first reveals the "sufficient statistics" exploited by the
algorithm and their interaction at work. These results demonstrate, as a
striking consequence, that the standard approach to MTL-LSSVM is largely
suboptimal, can lead to severe effects of negative transfer but that these
impairments are easily corrected. These corrections are turned into an improved
MTL-LSSVM algorithm which can only benefit from additional data, and the
theoretical performance of which is also analyzed.
As evidenced and theoretically sustained in numerous recent works, these
large dimensional results are robust to broad ranges of data distributions,
which our present experiments corroborate. Specifically, the article reports a
systematically close behavior between theoretical and empirical performances on
popular datasets, which is strongly suggestive of the applicability of the
proposed carefully tuned MTL-LSSVM method to real data. This fine-tuning is
fully based on the theoretical analysis and does not in particular require any
cross validation procedure. Besides, the reported performances on real datasets
almost systematically outperform much more elaborate and less intuitive
state-of-the-art multi-task and transfer learning methods.
- Abstract（参考訳）: マルチタスク学習(MTL)は、複数の関連するタスクに含まれる有用な情報を利用して、全てのタスクの一般化性能を向上させる。
本稿では,MTLのLast Square Support Vector Machine (LSSVM) バージョンであるLast Square Support Vector Machine (LSSVM) を,データ次元の$p$と数値の$n$が同じ速度で大きくなる状況下で,非常に強力であることを示す。
入力データの軽度な仮定の下で、MLL-LSSVMアルゴリズムの理論解析はまず、アルゴリズムとその作業時の相互作用によって利用される「十分統計」を明らかにする。
これらの結果から,MLL-LSSVMに対する標準アプローチは概ね準最適であり,負の移動による深刻な影響をもたらすが,これらの障害は容易に修正できることが示唆された。
これらの補正を改良したMLL-LSSVMアルゴリズムに変換し、追加データのみを活用でき、その理論的性能も解析される。
最近の多くの研究で証明され、理論的に持続されているように、これらの大きな次元の結果は幅広いデータ分布にロバストであり、この実験は共生している。
具体的には,提案手法を実データに適用する可能性を強く示唆する,一般的なデータセットにおける理論と経験的性能の系統的密接な挙動を報告する。
この微調整は理論解析に基づいており、特にクロス検証の手順は必要としない。
さらに、実際のデータセットでの報告されたパフォーマンスは、より精巧で直感的なマルチタスクおよび転送学習方法よりも、ほぼ体系的に優れています。
関連論文リスト
- Mixing It Up: The Cocktail Effect of Multi-Task Fine-Tuning on LLM Performance -- A Case Study in Finance [0.32985979395737774]
金融を含むドメイン固有の文脈における大規模言語モデル(LLM)の適用について検討する。
ターゲットタスクのみを微調整することが、必ずしも最も効果的な戦略であるとは限らない。
代わりに、マルチタスクの微調整はパフォーマンスを大幅に向上させる。
論文 参考訳（メタデータ） (2024-10-01T22:35:56Z) - Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。
本研究では,LLMが計算を行う特定のメカニズムを明らかにする。
LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
論文 参考訳（メタデータ） (2024-09-03T07:01:46Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳（メタデータ） (2024-03-12T13:31:14Z) - Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
本稿では,既存のMTL手法の効率性に焦点をあてる。
バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。
また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
論文 参考訳（メタデータ） (2024-02-05T22:15:55Z) - Semantic-Preserving Feature Partitioning for Multi-View Ensemble
Learning [11.415864885658435]
本稿では,情報理論に基づく新しい手法であるセマンティック・保存特徴分割(SPFP)アルゴリズムを紹介する。
SPFPアルゴリズムは、データセットを複数のセマンティックな一貫したビューに効果的に分割し、マルチビューアンサンブル学習プロセスを強化する。
モデル精度を維持しつつ、高い一般化性能が達成可能なシナリオにおける不確実性対策を大幅に改善する。
論文 参考訳（メタデータ） (2024-01-11T20:44:45Z) - Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。
タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。
テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-30T14:28:26Z) - Scaling Relationship on Learning Mathematical Reasoning with Large
Language Models [75.29595679428105]
本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。
複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
論文 参考訳（メタデータ） (2023-08-03T15:34:01Z) - When to Use Multi-Task Learning vs Intermediate Fine-Tuning for
Pre-Trained Encoder Transfer Learning [15.39115079099451]
近年,自然言語処理における伝達学習(TL)への関心が高まっている。
微調整中に複数の教師付きデータセットを使用するための3つの主要な戦略が登場した。
GLUEデータセットの包括的解析において,3つのTL手法を比較した。
論文 参考訳（メタデータ） (2022-05-17T06:48:45Z) - PCA-based Multi Task Learning: a Random Matrix Approach [40.49988553835459]
本稿では,一般的な主成分分析 (PCA) に基づく教師付き学習手法であるcitebarshan 2011supervised,bair2006prediction の,計算効率のよいマルチタスク学習 (MTL) 拡張を提案し,理論的に分析する。
論文 参考訳（メタデータ） (2021-11-01T13:13:38Z) - SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task
Learning [0.0]
マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。
最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。
マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
論文 参考訳（メタデータ） (2021-09-16T20:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。