Fugu-MT 論文翻訳(概要): Teaching a Language Model to Distinguish Between Similar Details using a Small Adversarial Training Set

論文の概要: Teaching a Language Model to Distinguish Between Similar Details using a Small Adversarial Training Set

arxiv url: http://arxiv.org/abs/2410.23118v1
Date: Wed, 30 Oct 2024 15:27:55 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-31 14:28:51.905255
Title: Teaching a Language Model to Distinguish Between Similar Details using a Small Adversarial Training Set
Title（参考訳）: 小対人学習セットを用いた言語モデルによる類似内容の区別指導
Authors: Chris Achard,
Abstract要約: 対向テストセット(+13%)では,元のNLIタスクでは良好な性能を維持しつつ,精度が向上した。また、SNLIテストセットの最も類似した矛盾点について、91.2%から92.9%まで精度が向上した(コサイン類似性によって判断される)。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Language models can achieve high accuracy on natural language tasks such as NLI, but performance suffers on manually created adversarial examples. We investigate the performance of a language model trained on the Stanford Natural Language Inference (SNLI) corpus on a manually created adversarial test set. We then improve the model's performance by fine tuning the model on a small, manually created adversarial training set, designed to help the language model to learn to differentiate between similar words and phrases in the data. We show an increase in accuracy on the adversarial test set (+ 13%) while still maintaining good performance on the original NLI task. We also show an increase in accuracy from 91.2% to 92.9% on the most similar contradictions in the SNLI test set (as judged by cosine similarity).
Abstract（参考訳）: 言語モデルは、NLIのような自然言語タスクで高い精度を達成することができるが、手動で作成した逆の例ではパフォーマンスが損なわれる。本研究では,Stanford Natural Language Inference (SNLI)コーパスでトレーニングされた言語モデルの性能について検討した。次に,データ中の類似語とフレーズの区別を学習する言語モデルを支援するために,手作業で作成した小さな学習セット上でモデルを微調整することにより,モデルの性能を向上させる。元のNLIタスクでは良好な性能を維持しつつ, 対向テストセット(+13%)では精度が向上した。また、SNLIテストセットの最も類似した矛盾点について、91.2%から92.9%まで精度が向上した(コサイン類似性によって判断される)。

関連論文リスト

Evaluating Large Language Models Using Contrast Sets: An Experimental Approach [0.0]
本研究では,スタンフォード自然言語推論データセットのコントラストセットを生成する革新的な手法を提案する。我々の戦略は、動詞、副詞、形容詞をその同義語と自動置換して、文の本来の意味を保存することである。本手法は,モデルの性能が真の言語理解に基づくのか,それとも単にパターン認識に基づくのかを評価することを目的とする。
論文参考訳（メタデータ） (2024-04-02T02:03:28Z)
Robustifying Language Models with Test-Time Adaptation [17.96043752001886]
大規模言語モデルは、多くの言語タスクに対して最先端のパフォーマンスを達成した。これらは、言語モデルを騙すように最適化された文であるが、人間に類似した意味を持つ、敵対的な言語の例では失敗する。入力文をマスキングされた単語からの予測に適応させることで,多くの言語敵対攻撃を逆転させることができることを示す。
論文参考訳（メタデータ） (2023-10-29T22:37:54Z)
ProsAudit, a prosodic benchmark for self-supervised speech models [14.198508548718676]
ProsAuditは、自己教師付き学習(SSL)音声モデルにおける構造的韻律的知識を評価するためのベンチマークである。 2つのサブタスク、対応するメトリクス、評価データセットで構成される。
論文参考訳（メタデータ） (2023-02-23T14:30:23Z)
Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文参考訳（メタデータ） (2023-02-18T09:26:35Z)
Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
論文参考訳（メタデータ） (2022-06-11T12:52:32Z)
An Application of Pseudo-Log-Likelihoods to Natural Language Scoring [5.382454613390483]
比較的少ないパラメータとトレーニングステップを持つ言語モデルは、最近の大規模なデータセットでそれを上回るパフォーマンスを得ることができる。二項選択タスクにおける常識推論のための絶対的最先端結果を生成する。より小さなモデルの堅牢性は、構成性の観点から理解されるべきである。
論文参考訳（メタデータ） (2022-01-23T22:00:54Z)
Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文参考訳（メタデータ） (2021-12-20T16:52:35Z)
Finetuned Language Models Are Zero-Shot Learners [67.70352207685558]
命令チューニングは、目に見えないタスクにおけるゼロショット性能を向上することを示す。 137Bパラメータを事前訓練した言語モデルと、自然言語の命令テンプレートを介して言語化された60以上のNLPタスクにチューニングする。 FLANと呼ばれるこの命令調整モデルについて、未知のタスクタイプで評価する。
論文参考訳（メタデータ） (2021-09-03T17:55:52Z)
Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
否定は自然言語の中核構造である。本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
論文参考訳（メタデータ） (2021-05-07T21:58:35Z)
Linguistically-Informed Transformations (LIT): A Method for Automatically Generating Contrast Sets [13.706520309917634]
コントラスト集合を自動生成するLinguistically-Informed Transformation (LIT) 法を提案する。実験によると、現在の事前訓練された言語モデルは、自動生成されたコントラストセットで苦労している。トレーニングデータを拡張するためにLITを適用してコントラストセットのモデルの性能を改善するが、元のデータの性能には影響しない。
論文参考訳（メタデータ） (2020-10-16T18:23:05Z)
Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文参考訳（メタデータ） (2020-04-29T14:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。