論文の概要: Variational Information Bottleneck for Effective Low-Resource Fine-Tuning

• arxiv url: http://arxiv.org/abs/2106.05469v1
• Date: Thu, 10 Jun 2021 03:08:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:26:18.499191
• Title: Variational Information Bottleneck for Effective Low-Resource Fine-Tuning
• Title（参考訳）: 低リソース・ファインチューニングのための変分情報基盤
• Authors: Rabeeh Karimi Mahabadi, Yonatan Belinkov, James Henderson
• Abstract要約: 低リソースターゲットタスクの微調整において,無関係な特徴を抑えるために,変動情報ボット (VIB) を提案する。 我々のVIBモデルは、自然言語推論データセットのバイアスに対してより堅牢な文表現を見つける。
• 参考スコア（独自算出の注目度）: 40.66716433803935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large-scale pretrained language models have obtained impressive results when fine-tuned on a wide variety of tasks, they still often suffer from overfitting in low-resource scenarios. Since such models are general-purpose feature extractors, many of these features are inevitably irrelevant for a given target task. We propose to use Variational Information Bottleneck (VIB) to suppress irrelevant features when fine-tuning on low-resource target tasks, and show that our method successfully reduces overfitting. Moreover, we show that our VIB model finds sentence representations that are more robust to biases in natural language inference datasets, and thereby obtains better generalization to out-of-domain datasets. Evaluation on seven low-resource datasets in different tasks shows that our method significantly improves transfer learning in low-resource scenarios, surpassing prior work. Moreover, it improves generalization on 13 out of 15 out-of-domain natural language inference benchmarks. Our code is publicly available in https://github.com/rabeehk/vibert.
• Abstract（参考訳）: 大規模な事前訓練された言語モデルは、様々なタスクを微調整した時に印象的な結果を得たが、低リソースのシナリオでは過度に適合する。 このようなモデルは汎用的特徴抽出器であるため、これらの特徴の多くは、与えられた目標タスクに必然的に無関係である。 そこで本稿では,低リソースターゲットタスクの微調整において,無関係な特徴を抑えるために変動情報ボット(VIB)を提案する。 さらに、我々のVIBモデルは、自然言語推論データセットのバイアスに対してより堅牢な文表現を見つけ、ドメイン外データセットのより優れた一般化を得る。 異なるタスクにおける7つの低リソースデータセットの評価は、我々の手法が低リソースシナリオにおける転送学習を大幅に改善し、先行作業を上回っていることを示している。 さらに、15のドメイン外自然言語推論ベンチマークのうち13の一般化を改善している。 私たちのコードはhttps://github.com/rabeehk/vibert.comで公開されています。

関連論文リスト

• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Controlled Randomness Improves the Performance of Transformer Models [4.678970068275123]
  制御されたランダム性、すなわちノイズを訓練プロセスに導入し、微調整言語モデルを改善する。 このようなノイズを加えることで、結合したエンティティ認識と関係抽出とテキスト要約という2つの下流タスクのパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2023-10-20T14:12:55Z)
• Combining Data Generation and Active Learning for Low-Resource Question Answering [23.755283239897132]
  低リソース環境での性能向上を図るために,質問応答生成によるデータ拡張とアクティブラーニングを組み合わせた新しい手法を提案する。 我々の新しいアプローチは、人間がデータ生成アプローチに組み込まれることで、低リソースでドメイン固有の設定のパフォーマンスが向上することを示している。
  論文  参考訳（メタデータ） (2022-11-27T16:31:33Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• A Little Pretraining Goes a Long Way: A Case Study on Dependency Parsing Task for Low-resource Morphologically Rich Languages [14.694800341598368]
  低リソース環境における形態素リッチ言語(MRL)の依存性解析に着目する。 これらの課題に対処するために,プリトレーニングのための簡単な補助タスクを提案する。 提案手法の有効性を評価するため,低リソース環境下で10個のMRL実験を行った。
  論文  参考訳（メタデータ） (2021-02-12T14:26:58Z)
• Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
  本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。 実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。 我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
  論文  参考訳（メタデータ） (2020-12-04T08:34:39Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)
• Building Low-Resource NER Models Using Non-Speaker Annotation [58.78968578460793]
  言語横断的な手法はこれらの懸念に対処する上で顕著な成功を収めた。 本稿では,Non-Speaker''(NS)アノテーションを用いた低リソース名前付きエンティティ認識(NER)モデル構築のための補完的アプローチを提案する。 NSアノテータの使用は、現代の文脈表現上に構築された言語間メソッドよりも、一貫した結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-06-17T03:24:38Z)
• Discrete Latent Variable Representations for Low-Resource Text Classification [47.936293924113855]
  テキストに対する離散潜在変数モデルを学習するためのアプローチを検討する。 低リソース文書と文分類のための特徴として,学習した表現の性能を比較した。 ハードEMの償却版は、特に低リソース状態においてよく機能する。
  論文  参考訳（メタデータ） (2020-06-11T06:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。