論文の概要: Identifying the Limits of Cross-Domain Knowledge Transfer for Pretrained Models

• arxiv url: http://arxiv.org/abs/2104.08410v1
• Date: Sat, 17 Apr 2021 00:14:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-24 09:15:10.553141
• Title: Identifying the Limits of Cross-Domain Knowledge Transfer for Pretrained Models
• Title（参考訳）: 事前学習モデルにおけるドメイン間知識伝達限界の同定
• Authors: Zhengxuan Wu, Nelson F. Liu, Christopher Potts
• Abstract要約: モデルがランダムなスクランブルによって単語の同一性に関する情報を拒否されると、どの程度の転送が発生するかを調べる。 BERTだけがスクランブルされたドメインへの高い転送率を示し、分類のためにはシークエンスラベリングタスクではないことがわかった。 本分析では,移動がなぜ他のタスクで成功するのかを説明するとともに,事前学習と微調整の別々の貢献を分離し,単語頻度の役割を定量化する。
• 参考スコア（独自算出の注目度）: 9.359514457957799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is growing evidence that pretrained language models improve task-specific fine-tuning not just for the languages seen in pretraining, but also for new languages and even non-linguistic data. What is the nature of this surprising cross-domain transfer? We offer a partial answer via a systematic exploration of how much transfer occurs when models are denied any information about word identity via random scrambling. In four classification tasks and two sequence labeling tasks, we evaluate baseline models, LSTMs using GloVe embeddings, and BERT. We find that only BERT shows high rates of transfer into our scrambled domains, and for classification but not sequence labeling tasks. Our analyses seek to explain why transfer succeeds for some tasks but not others, to isolate the separate contributions of pretraining versus fine-tuning, and to quantify the role of word frequency. These findings help explain where and why cross-domain transfer occurs, which can guide future studies and practical fine-tuning efforts.
• Abstract（参考訳）: 事前訓練された言語モデルは、事前訓練で見られる言語だけでなく、新しい言語や非言語データに対してもタスク固有の微調整を改善する証拠が増えている。 この驚くべきクロスドメイン転送の性質は何ですか? モデルが無作為なスクランブルによる単語の同一性に関する情報を拒否されると、どの程度の転送が起こるのかを体系的に探究することで、部分的な答えを提供する。 4つの分類タスクと2つのシーケンスラベリングタスクにおいて、ベースラインモデル、GloVe埋め込みを用いたLSTM、BERTを評価する。 BERTだけがスクランブルされたドメインへの高い転送率を示し、分類のためにはシークエンスラベリングタスクではないことがわかった。 本分析では,移動がなぜ他のタスクで成功するのかを説明するとともに,事前学習と微調整の別々の貢献を分離し,単語頻度の役割を定量化する。 これらの知見は、ドメイン間転送が発生する場所と理由を説明するのに役立ち、将来の研究と実用的な微調整作業のガイドとなる。

関連論文リスト

• Argument Mining in Data Scarce Settings: Cross-lingual Transfer and Few-shot Techniques [5.735035463793008]
  また、Argument Miningでは、データ転送の方がモデル転送よりも優れた結果が得られることを示す。 数秒間、タスクの種類(シーケンスの長さと複雑さ)とサンプリングメソッドが重要であることが証明されている。
  論文  参考訳（メタデータ） (2024-07-04T08:59:17Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• Domain Mismatch Doesn't Always Prevent Cross-Lingual Transfer Learning [51.232774288403114]
  言語間移動学習は、ゼロショット言語間分類において驚くほど効果的である。 本稿では,言語間移動におけるドメインミスマッチの影響の多くを,単純なレギュレータが克服できることを示す。
  論文  参考訳（メタデータ） (2022-11-30T01:24:33Z)
• Characterization of effects of transfer learning across domains and languages [0.0]
  事前学習されたニューラルネットワークモデルからのトランスファーラーニング(TL)は、長年にわたって強力なテクニックとして現れてきた。 本研究では,TLが3つの自然言語処理(NLP)タスクに対して,一般的な事前学習モデルの性能にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2022-10-03T17:17:07Z)
• Task Transfer and Domain Adaptation for Zero-Shot Question Answering [18.188082154309175]
  我々は、ソースドメインデータに対する教師付き事前トレーニングを使用して、ドメイン固有の下流タスクにおけるサンプルの複雑さを減らします。 タスク転送とドメイン適応を組み合わせることで、ドメイン固有読解タスクのゼロショット性能を評価する。
  論文  参考訳（メタデータ） (2022-06-14T09:10:48Z)
• FETA: A Benchmark for Few-Sample Task Transfer in Open-Domain Dialogue [70.65782786401257]
  本研究は、オープンドメイン対話における少数サンプルタスク転送のベンチマークであるFETAを導入することにより、対話型タスク転送について検討する。 FETAには10タスクと7タスクがアノテートされた2つの基礎的な会話が含まれており、データセット内タスク転送の研究を可能にする。 3つの人気のある言語モデルと3つの学習アルゴリズムを用いて、132のソースターゲットタスクペア間の転送可能性を分析する。
  論文  参考訳（メタデータ） (2022-05-12T17:59:00Z)
• Sequential Reptile: Inter-Task Gradient Alignment for Multilingual Learning [61.29879000628815]
  知識伝達を最大化するためには,タスク間の勾配の整合が不可欠であることを示す。 本稿では,タスク間の勾配を効率よく調整する,シンプルで効果的な手法を提案する。 様々なマルチタスク学習やゼロショット言語間移動タスクにおいて,提案手法を広範囲に検証する。
  論文  参考訳（メタデータ） (2021-10-06T09:10:10Z)
• First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT [2.2931318723689276]
  言語間移動は、ある言語への関心のタスクを微調整し、ある言語を個別に評価することから生じる。 多言語bertは,マルチリンガルエンコーダとタスク固有言語非依存予測器の2つのサブネットワークの積み重ねと見なすことができる。 エンコーダは言語間移動に不可欠であり、微調整中はほとんど変化しないが、タスク予測器は転写にほとんど重要ではなく、微調整時に赤くなる。
  論文  参考訳（メタデータ） (2021-01-26T22:12:38Z)
• Analyzing Zero-shot Cross-lingual Transfer in Supervised NLP Tasks [6.7155846430379285]
  ゼロショット言語間転送では、ある言語のコーパスでトレーニングされた教師付きnlpタスクが、追加のトレーニングなしで他の言語に直接適用されます。 最近導入されたクロス言語言語モデル(XLM)プリトレーニングは、トランスフォーマースタイルのネットワークでニューラルパラメータの共有をもたらす。 本稿では,XLM事前学習により生じる仮説上強い言語間移動特性を検証することを目的とする。
  論文  参考訳（メタデータ） (2021-01-26T09:21:25Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers [62.637055980148816]
  言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。 膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
  論文  参考訳（メタデータ） (2020-05-01T22:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。