論文の概要: Adapting to the Long Tail: A Meta-Analysis of Transfer Learning Research for Language Understanding Tasks

• arxiv url: http://arxiv.org/abs/2111.01340v1
• Date: Tue, 2 Nov 2021 02:58:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-03 14:12:17.905310
• Title: Adapting to the Long Tail: A Meta-Analysis of Transfer Learning Research for Language Understanding Tasks
• Title（参考訳）: ロングテールへの適応:言語理解課題における転帰学習研究のメタ分析
• Authors: Aakanksha Naik, Jill Lehman, Carolyn Rose
• Abstract要約: ロングテールにおけるベンチマーク学習モデルの性能について,転送学習手法は十分に対処されているか? 我々は,NLUにおける転写学習に関する100の論文の質的メタ分析を通じて,転写学習研究の動向を評価する。 これらの質問に対する私たちの回答は、長期にわたるトランスファーラーニングにおける今後の研究の道のりを浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 4.486141167325432
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Natural language understanding (NLU) has made massive progress driven by large benchmarks, paired with research on transfer learning to broaden its impact. Benchmarks are dominated by a small set of frequent phenomena, leaving a long tail of infrequent phenomena underrepresented. In this work, we reflect on the question: have transfer learning methods sufficiently addressed performance of benchmark-trained models on the long tail? Since benchmarks do not list included/excluded phenomena, we conceptualize the long tail using macro-level dimensions such as underrepresented genres, topics, etc. We assess trends in transfer learning research through a qualitative meta-analysis of 100 representative papers on transfer learning for NLU. Our analysis asks three questions: (i) Which long tail dimensions do transfer learning studies target? (ii) Which properties help adaptation methods improve performance on the long tail? (iii) Which methodological gaps have greatest negative impact on long tail performance? Our answers to these questions highlight major avenues for future research in transfer learning for the long tail. Lastly, we present a case study comparing the performance of various adaptation methods on clinical narratives to show how systematically conducted meta-experiments can provide insights that enable us to make progress along these future avenues.
• Abstract（参考訳）: 自然言語理解(NLU)は大きなベンチマークによって大きく進歩し、伝達学習の研究と組み合わせてその影響を広げている。 ベンチマークは、頻繁な現象の小さなセットに支配されており、頻繁な現象の長い尾が表現されていない。 本研究は, ロングテールにおけるベンチマーク学習モデルの性能について, 伝達学習手法は十分に対処されているか? ベンチマークは包含/除いた事象をリストアップしないので、未表現のジャンルやトピックなどのマクロ次元を用いてロングテールを概念化する。 転校学習研究の潮流を,nluの転校学習に関する代表100論文の質的メタ分析を通じて評価する。 分析には3つの質問があります (i)転校学習はどのロングテールディメンジョンを対象としますか。 (ii)ロングテールの性能を改善するためにどのような特性が役立つか。 (iii)ロングテール性能に最も悪影響を及ぼす方法論的ギャップは何か? これらの質問に対する私たちの回答は、長期にわたるトランスファーラーニングにおける今後の研究の道のりを浮き彫りにしている。 最後に, 臨床物語における様々な適応法の性能を比較検討し, 系統的に実施したメタ実験が, 今後の展開にどのように影響を与えるかを示す。

関連論文リスト

• Dynamic Uncertainty Ranking: Enhancing In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Granularity Matters in Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• A Systematic Review on Long-Tailed Learning [12.122327726952946]
  長い尾の学習は、長い尾の分布を持つデータセット上で高性能なモデルを構築することを目的としている。 本研究では,8つの異なる次元からなる長期学習のための新しい分類法を提案する。 本稿では,長期学習手法の体系的レビューを行い,それらの共通点と整合性の違いについて論じる。
  論文  参考訳（メタデータ） (2024-08-01T11:39:45Z)
• LCReg: Long-Tailed Image Classification with Latent Categories based Recognition [81.5551335554507]
  本稿では,Lar-tail Recognition(LCReg)法を提案する。 我々の仮説は、頭と尾のクラスで共有される一般的な潜伏的特徴は、特徴表現を改善するために使用できるというものである。 具体的には、頭と尾の両方で共有されるクラス非依存の潜伏特徴の集合を学習し、潜伏特徴のセマンティックデータ拡張を用いてトレーニングサンプルの多様性を暗黙的に増加させる。
  論文  参考訳（メタデータ） (2023-09-13T02:03:17Z)
• Long-tailed Recognition by Learning from Latent Categories [70.6272114218549]
  本稿ではLatent Categories based long-tail Recognition (LCReg)法を提案する。 具体的には、頭と尾のクラス間で共有されるクラスに依存しない潜在機能群を学習する。 次に、潜在機能に意味データ拡張を適用することで、トレーニングサンプルの多様性を暗黙的に強化する。
  論文  参考訳（メタデータ） (2022-06-02T12:19:51Z)
• A Survey on Long-Tailed Visual Recognition [13.138929184395423]
  我々は、長い尾を持つデータ分布に起因する問題に焦点をあて、代表的な長い尾を持つ視覚認識データセットを整理し、いくつかの主流の長い尾を持つ研究を要約する。 Gini係数に基づいて、過去10年間に提案された20の広範に利用されている大規模ビジュアルデータセットを定量的に研究する。
  論文  参考訳（メタデータ） (2022-05-27T06:22:55Z)
• Deep Long-Tailed Learning: A Survey [163.16874896812885]
  ディープ・ロングテール・ラーニング(Deep Long-tailed Learning)は、長いテールのクラス分布に追従する多数の画像から、優れたパフォーマンスのディープモデルをトレーニングすることを目的としている。 長い尾を持つクラス不均衡は、現実的な視覚認識タスクにおいて一般的な問題である。 本稿では,近年の長期学習の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2021-10-09T15:25:22Z)
• Learning Transferrable Parameters for Long-tailed Sequential User Behavior Modeling [70.64257515361972]
  テールユーザに注力することで、より多くのメリットをもたらし、長いテールの問題に対処できる、と私たちは主張しています。 具体的には、頭部から尾部への知識伝達を容易にするために、勾配アライメントを提案し、敵のトレーニングスキームを採用する。
  論文  参考訳（メタデータ） (2020-10-22T03:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。