論文の概要: From Superficial Patterns to Semantic Understanding: Fine-Tuning Language Models on Contrast Sets

• arxiv url: http://arxiv.org/abs/2501.02683v1
• Date: Sun, 05 Jan 2025 23:19:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:22.622529
• Title: From Superficial Patterns to Semantic Understanding: Fine-Tuning Language Models on Contrast Sets
• Title（参考訳）: 表面パターンから意味的理解へ:コントラスト集合上の微調整言語モデル
• Authors: Daniel Petrov,
• Abstract要約: 本研究では,言語モデルの頑健性について,学習中に少量の複雑なコントラスト集合に露出させることで改善する方法について検討した。 このアプローチにより、モデルはパフォーマンスを回復し、コントラストセットで90%近い精度を実現し、多様で挑戦的なトレーニングデータの重要性を強調します。
• 参考スコア（独自算出の注目度）: 0.21756081703275998
• License:
• Abstract: Large scale pretrained language models have demonstrated high performance on standard datasets for natural language inference (NLI) tasks. Unfortunately, these evaluations can be misleading, as although the models can perform well on in-distribution data, they perform poorly on out-of-distribution test sets, such as contrast sets. Contrast sets consist of perturbed instances of data that have very minor, but meaningful, changes to the input that alter the gold label, revealing how models can learn superficial patterns in the training data rather than learning more sophisticated language nuances. As an example, the ELECTRA-small language model achieves nearly 90% accuracy on an SNLI dataset but drops to 75% when tested on an out-of-distribution contrast set. The research performed in this study explores how a language models' robustness can be improved by exposing it to small amounts of more complex contrast sets during training to help it better learn language patterns. With this approach, the model regains performance and achieves nearly 90% accuracy on contrast sets, highlighting the importance of diverse and challenging training data.
• Abstract（参考訳）: 大規模事前訓練型言語モデルは、自然言語推論(NLI)タスクの標準データセット上で高いパフォーマンスを示している。 残念なことに、これらの評価は、モデルが分布内データでうまく機能するとしても、コントラストセットのような分布外テストセットではうまく機能しないため、誤解を招く可能性がある。 コントラストセットは、ゴールドラベルを変える入力に対して、非常に小さいが有意義な変更が加えられたデータの摂動インスタンスで構成されており、モデルがより洗練された言語ニュアンスを学ぶのではなく、トレーニングデータで表面的なパターンを学習する方法を明らかにしている。 例えば、ELECTRA-small言語モデルはSNLIデータセットで90%近い精度を達成するが、アウト・オブ・ディストリビューション・コントラストセットでテストすると75%に低下する。 本研究は,言語パターンの学習を支援するために,学習中に少量の複雑なコントラスト集合に公開することにより,言語モデルの堅牢性を改善する方法について検討した。 このアプローチにより、モデルはパフォーマンスを回復し、コントラストセットで90%近い精度を実現し、多様で挑戦的なトレーニングデータの重要性を強調します。

関連論文リスト

• Teaching a Language Model to Distinguish Between Similar Details using a Small Adversarial Training Set [0.0]
  対向テストセット(+13%)では,元のNLIタスクでは良好な性能を維持しつつ,精度が向上した。 また、SNLIテストセットの最も類似した矛盾点について、91.2%から92.9%まで精度が向上した(コサイン類似性によって判断される)。
  論文  参考訳（メタデータ） (2024-10-30T15:27:55Z)
• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Evaluating Large Language Models Using Contrast Sets: An Experimental Approach [0.0]
  本研究では,スタンフォード自然言語推論データセットのコントラストセットを生成する革新的な手法を提案する。 我々の戦略は、動詞、副詞、形容詞をその同義語と自動置換して、文の本来の意味を保存することである。 本手法は,モデルの性能が真の言語理解に基づくのか,それとも単にパターン認識に基づくのかを評価することを目的とする。
  論文  参考訳（メタデータ） (2024-04-02T02:03:28Z)
• Split and Rephrase with Large Language Models [2.499907423888049]
  Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。 タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
  論文  参考訳（メタデータ） (2023-12-18T10:16:37Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Linguistically-Informed Transformations (LIT): A Method for Automatically Generating Contrast Sets [13.706520309917634]
  コントラスト集合を自動生成するLinguistically-Informed Transformation (LIT) 法を提案する。 実験によると、現在の事前訓練された言語モデルは、自動生成されたコントラストセットで苦労している。 トレーニングデータを拡張するためにLITを適用してコントラストセットのモデルの性能を改善するが、元のデータの性能には影響しない。
  論文  参考訳（メタデータ） (2020-10-16T18:23:05Z)
• Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
  テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。 10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。 我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
  論文  参考訳（メタデータ） (2020-04-06T14:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。