論文の概要: A Closer Look at How Fine-tuning Changes BERT

• arxiv url: http://arxiv.org/abs/2106.14282v1
• Date: Sun, 27 Jun 2021 17:01:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 18:12:37.294539
• Title: A Closer Look at How Fine-tuning Changes BERT
• Title（参考訳）: 微調整がbertをいかに変えるか
• Authors: Yichu Zhou and Vivek Srikumar
• Abstract要約: 我々は,英語のBERTファミリーを研究し,空間の微調整がいかに変化するかを分析するために2つの探索手法を用いた。 実験の結果,ラベルに関連する点を他のラベルから切り離すことで,微調整により性能が向上することがわかった。 微調整前後の表現を比較することで、微調整が任意に表現を変更せず、代わりに元の構造を保ちながら下流のタスクに表現を調整できることが分かる。
• 参考スコア（独自算出の注目度）: 21.23284793831221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given the prevalence of pre-trained contextualized representations in today's NLP, there have been several efforts to understand what information such representations contain. A common strategy to use such representations is to fine-tune them for an end task. However, how fine-tuning for a task changes the underlying space is less studied. In this work, we study the English BERT family and use two probing techniques to analyze how fine-tuning changes the space. Our experiments reveal that fine-tuning improves performance because it pushes points associated with a label away from other labels. By comparing the representations before and after fine-tuning, we also discover that fine-tuning does not change the representations arbitrarily; instead, it adjusts the representations to downstream tasks while preserving the original structure. Finally, using carefully constructed experiments, we show that fine-tuning can encode training sets in a representation, suggesting an overfitting problem of a new kind.
• Abstract（参考訳）: 今日のNLPにおける事前学習された文脈化表現の頻度を考えると、そのような表現がどんな情報を含んでいるかを理解するためにいくつかの努力がなされている。 このような表現を使う一般的な戦略は、エンドタスクのためにそれらを微調整することです。 しかし、タスクの微調整が基礎となる空間をどのように変えるかは研究されていない。 本研究では,英語のBERTファミリーについて検討し,微調整によって空間がどう変化するかを分析するために2つの探索手法を用いた。 実験の結果,ラベルに関連する点を他のラベルから切り離すことで,微調整により性能が向上することがわかった。 微調整前後の表現を比較することで、微調整が任意に表現を変更せず、代わりに元の構造を保ちながら下流のタスクに表現を調整できることが分かる。 最後に, 注意深く構築された実験を用いて, 微調整がトレーニングセットを表現にエンコードできることを示し, 新たな種類のオーバーフィット問題を示唆する。

関連論文リスト

• PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer [94.23904400441957]
  損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。 我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。 我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
  論文  参考訳（メタデータ） (2023-05-03T20:30:51Z)
• Improved Visual Fine-tuning with Natural Language Supervision [36.250244364023665]
  視覚的事前学習モデルの微調整は、大規模事前学習データからの意味情報を活用することができる。 術前訓練した背骨における破折性忘れの問題は、微調整のために広く研究されている。 固定テキスト分類器から得られた参照分布を導入し,学習した視覚分類器の正規化を支援する。
  論文  参考訳（メタデータ） (2023-04-04T03:08:02Z)
• Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models [108.13378788663196]
  本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。 我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
  論文  参考訳（メタデータ） (2022-11-04T02:06:22Z)
• Alleviating Representational Shift for Continual Fine-tuning [13.335957004592407]
  本研究では,継続学習の実践的な設定について考察する。 本稿では,2つのコンポーネント,クロスコンボリューションバッチ正規化 (Xconv BN) と階層的微調整 (hierarchical fine-tuning) を組み合わせた微細チューニング手法であるConFiTを提案する。 Xconv BNは、事前の畳み込み実行手段を維持し、テスト前の畳み込み後の手段を復元する。
  論文  参考訳（メタデータ） (2022-04-22T06:58:20Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
  本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
  論文  参考訳（メタデータ） (2021-10-15T22:01:16Z)
• On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers [24.858283637038422]
  本稿では,BERT,RoBERTa,ALBERTの3種類の事前学習モデルについて検討する。 探究タスクの微調整によって精度が大幅に変化することを発見した。 ファインチューニングは、実際に事前訓練されたモデルの表現を変えるが、ごく少数のケースでのみ、ファインチューニングは探索精度に肯定的な影響を及ぼす。
  論文  参考訳（メタデータ） (2020-10-06T10:54:00Z)
• Visually Grounded Compound PCFGs [65.04669567781634]
  言語理解のための視覚的基盤の爆発は、最近多くの注目を集めている。 本研究では,視覚的な文法誘導について検討し,未ラベルテキストとその視覚的キャプションから選挙区を学習する。
  論文  参考訳（メタデータ） (2020-09-25T19:07:00Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• What Happens To BERT Embeddings During Fine-tuning? [19.016185902256826]
  細調整がBERTモデルの表現に与える影響について検討する。 微調整は主にBERTの上位層に影響を与えるが、タスク間で注目すべきバリエーションがある。 特に、依存関係解析はモデルのほとんどを再構成するが、SQuADとMNLIはより浅い処理を伴っているように見える。
  論文  参考訳（メタデータ） (2020-04-29T19:46:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。