論文の概要: Divergence-Based Domain Transferability for Zero-Shot Classification

• arxiv url: http://arxiv.org/abs/2302.05735v1
• Date: Sat, 11 Feb 2023 16:04:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 18:51:04.431801
• Title: Divergence-Based Domain Transferability for Zero-Shot Classification
• Title（参考訳）: ゼロショット分類のためのダイバージェンスに基づくドメイン転送可能性
• Authors: Alexander Pugantsov, Richard McCreadie
• Abstract要約: 事前訓練されたニューラルネットワークモデルから学習パターンを転送することで、さまざまな言語ベースのタスクにおける効果が大幅に向上することが示されている。 中間タスクが目的タスクと十分に関係している場合、中間タスクのさらなるチューニングにより、さらなるパフォーマンス上のメリットが示される。 しかし、関連するタスクの特定方法はオープンな問題であり、効果的なタスクの組み合わせをブルートフォースで探すのは非常に高価である。
• 参考スコア（独自算出の注目度）: 78.55044112903148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transferring learned patterns from pretrained neural language models has been shown to significantly improve effectiveness across a variety of language-based tasks, meanwhile further tuning on intermediate tasks has been demonstrated to provide additional performance benefits, provided the intermediate task is sufficiently related to the target task. However, how to identify related tasks is an open problem, and brute-force searching effective task combinations is prohibitively expensive. Hence, the question arises, are we able to improve the effectiveness and efficiency of tasks with no training examples through selective fine-tuning? In this paper, we explore statistical measures that approximate the divergence between domain representations as a means to estimate whether tuning using one task pair will exhibit performance benefits over tuning another. This estimation can then be used to reduce the number of task pairs that need to be tested by eliminating pairs that are unlikely to provide benefits. Through experimentation over 58 tasks and over 6,600 task pair combinations, we demonstrate that statistical measures can distinguish effective task pairs, and the resulting estimates can reduce end-to-end runtime by up to 40%.
• Abstract（参考訳）: 訓練済みのニューラル言語モデルから学習されたパターンを移行することで、さまざまな言語ベースのタスクにおける効率が大幅に向上すると同時に、中間タスクがターゲットタスクと十分に関連している場合、中間タスクのチューニングにより、さらなるパフォーマンス上のメリットが期待できる。 しかし、関連するタスクの特定方法はオープンな問題であり、効果的なタスクの組み合わせをブルートフォースで探すのは非常に高価である。 したがって、選択的な微調整によって、トレーニング例なしでタスクの有効性と効率を向上させることができるのか? 本稿では,あるタスクペアを用いたチューニングが,他のタスクペアによるチューニングよりもパフォーマンス上のメリットを示すかどうかを推定する手段として,ドメイン表現間のばらつきを近似する統計測度について検討する。 この推定は、メリットを提供しそうにないペアを排除することで、テストが必要なタスクペアの数を減らすために使用することができる。 58以上のタスクと6600以上のタスクペアの組み合わせを実験することにより、統計的測定によって効果的なタスクペアを識別でき、その結果、エンドツーエンドのランタイムを最大40%削減できることを示す。

関連論文リスト

• Does the Order of Fine-tuning Matter and Why? [11.975836356680855]
  本研究では,複数の中間タスクの微調整とその順序がタスク性能に及ぼす影響について検討する。 実験の結果,タスクオーダリングが目標タスクのパフォーマンスに与える影響は,パフォーマンスの最大6%,パフォーマンスの最大4%であることがわかった。
  論文  参考訳（メタデータ） (2024-10-03T19:07:14Z)
• Exploring the Effectiveness and Consistency of Task Selection in Intermediate-Task Transfer Learning [21.652389166495407]
  転送性能は、異なるソースタスク間で大きなばらつきを示し、種を訓練する。 埋め込みのない方法やテキスト埋め込みと比較して、微調整された重みで構築されたタスク埋め込みは、タスク転送可能性をよりよく見積もることができる。 本稿では,内部積探索の最大化によるトークンの相互類似度の測定手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T07:31:43Z)
• Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
  我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。 本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
  論文  参考訳（メタデータ） (2024-05-13T14:54:37Z)
• Efficiently Tuned Parameters are Task Embeddings [26.587153525003636]
  中間タスク転送は、適切に選択されたソースデータセットによる幅広いNLPタスクの恩恵を受けることができる。 すべての中間変換の組み合わせを実験することは、計算的に不可能である。 本稿では,これらのパラメータをオフザシェルフタスクの埋め込みとして効率的に調整することを提案する。
  論文  参考訳（メタデータ） (2022-10-21T03:19:54Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• Identifying Suitable Tasks for Inductive Transfer Through the Analysis of Feature Attributions [78.55044112903148]
  我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。 提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
  論文  参考訳（メタデータ） (2022-02-02T15:51:07Z)
• Weighted Training for Cross-Task Learning [71.94908559469475]
  クロスタスク学習のための重み付きトレーニングアルゴリズムであるTarget-Aware Weighted Training (TAWT)を紹介する。 TAWTは実装が容易で、計算効率が高く、ハイパーパラメータチューニングがほとんど必要とせず、漸近的でない学習理論の保証を享受できることを示す。 副産物として、提案された表現に基づくタスク距離は、クロスタスク学習のいくつかの重要な側面について理論的に原則化された方法で推論することができる。
  論文  参考訳（メタデータ） (2021-05-28T20:27:02Z)
• Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning [0.0]
  マルチタスク学習(MTL)は、シングルタスク学習(STL)と比較して全体的なタスクパフォーマンスを向上させることができるが、負の転送(NT)を隠すことができる。 非対称マルチタスク特徴学習(AMTFL)は、損失値の高いタスクが他のタスクを学習するための特徴表現に与える影響を小さくすることで、この問題に対処しようとするアプローチである。 2つのデータセット (画像認識と薬理ゲノミクス) におけるntの例を示し, 課題間の相対的信頼度を捉え, タスク損失の重み付けを行うことにより, この課題に挑戦する。
  論文  参考訳（メタデータ） (2020-12-17T13:30:45Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。