Fugu-MT 論文翻訳(概要): Worst-Case-Aware Curriculum Learning for Zero and Few Shot Transfer

論文の概要: Worst-Case-Aware Curriculum Learning for Zero and Few Shot Transfer

arxiv url: http://arxiv.org/abs/2009.11138v1
Date: Wed, 23 Sep 2020 13:32:39 GMT
ステータス: 処理完了
システム内更新日: 2022-10-15 15:27:30.921990
Title: Worst-Case-Aware Curriculum Learning for Zero and Few Shot Transfer
Title（参考訳）: ゼロと少ないショット転送のための最悪のケースアウェアカリキュラム学習
Authors: Sheng Zhang, Xin Zhang, Weiming Zhang, Anders S{\o}gaard
Abstract要約: 事前訓練された言語エンコーダに基づくマルチタスク変換学習は、様々なタスクで最先端のパフォーマンスを達成する。標準的なアプローチでは、トレーニングデータを持つタスクは、私たちが関心を持っているタスクを同じように表していると暗黙的に仮定しています。本稿では,タスク間の最悪のケース認識損失の新たなファミリーを最小化するために,自動カリキュラム学習を利用するマルチタスクトランスファー学習に対する,より非依存なアプローチを提案する。
参考スコア（独自算出の注目度）: 46.68328592206183
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multi-task transfer learning based on pre-trained language encoders achieves state-of-the-art performance across a range of tasks. Standard approaches implicitly assume the tasks, for which we have training data, are equally representative of the tasks we are interested in, an assumption which is often hard to justify. This paper presents a more agnostic approach to multi-task transfer learning, which uses automated curriculum learning to minimize a new family of worst-case-aware losses across tasks. Not only do these losses lead to better performance on outlier tasks; they also lead to better performance in zero-shot and few-shot transfer settings.
Abstract（参考訳）: 事前学習された言語エンコーダに基づくマルチタスク転送学習は、さまざまなタスクで最先端のパフォーマンスを実現する。標準的なアプローチでは、トレーニングデータを持つタスクは、私たちが関心を持っているタスクを同じように表していると暗黙的に仮定しています。本稿では,タスク間での最悪のケース認識損失を最小化するために,カリキュラムの自動学習を用いるマルチタスクトランスファー学習に対する,より無知なアプローチを提案する。これらの損失は、オフショアタスクのパフォーマンス向上につながるだけでなく、ゼロショットや少数ショットの転送設定のパフォーマンス向上につながる。

関連論文リスト

Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文参考訳（メタデータ） (2024-01-07T18:12:20Z)
Understanding the Transferability of Representations via Task-Relatedness [8.425690424016986]
本稿では,事前学習したモデルの下流タスクへの表現の伝達可能性について,その参照タスクとの関連性の観点から分析する。最先端の事前学習モデルを用いた実験は、様々な視覚や言語タスクにおける伝達可能性の説明におけるタスク関連性の有効性を示す。
論文参考訳（メタデータ） (2023-07-03T08:06:22Z)
ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
論文参考訳（メタデータ） (2023-01-30T02:27:02Z)
An Information-Theoretic Approach to Transferability in Task Transfer Learning [16.05523977032659]
タスク転送学習は、訓練済みのモデルを用いて関連するタスクの監督コストを削減する画像処理アプリケーションで一般的な手法である。分類問題において、あるタスクから別のタスクへ変換された表現のパフォーマンスを推定する新しい計量 H-score を提案する。
論文参考訳（メタデータ） (2022-12-20T08:47:17Z)
An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
論文参考訳（メタデータ） (2022-10-21T04:36:46Z)
Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文参考訳（メタデータ） (2022-10-12T15:02:04Z)
TaskMix: Data Augmentation for Meta-Learning of Spoken Intent Understanding [0.0]
本稿では,タスクの多様性が低い場合のオーバーフィッティングという問題を,最先端のデータ拡張手法により悪化させることを示す。本稿では,既存のタスクを線形に補間することで,新しいタスクを合成する簡単なTaskMixを提案する。 TaskMixはベースラインを上回り、タスクの多様性が低い場合の過度な適合を軽減し、高い場合でも性能が低下しないことを示す。
論文参考訳（メタデータ） (2022-09-26T00:37:40Z)
Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。