論文の概要: ScoNe: Benchmarking Negation Reasoning in Language Models With Fine-Tuning and In-Context Learning

• arxiv url: http://arxiv.org/abs/2305.19426v1
• Date: Tue, 30 May 2023 21:43:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 19:27:14.606939
• Title: ScoNe: Benchmarking Negation Reasoning in Language Models With Fine-Tuning and In-Context Learning
• Title（参考訳）: ScoNe: 微調整とインコンテキスト学習による言語モデルにおけるベンチマークネゲーション推論
• Authors: Jingyuan Selena She, Christopher Potts, Samuel R. Bowman, Atticus Geiger
• Abstract要約: 我々は、ScoNe-NLIを用いて、微調整および文脈内学習戦略を評価する。 In-context Learningでは、インストラクトGPTモデルをテストし、ほとんどの迅速な戦略が成功していないことを確認する。 短い物語に否定的推論を埋め込んだ文補完テストセットであるScoNe-NLGでScoNeを拡張した。
• 参考スコア（独自算出の注目度）: 28.89678790858097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A number of recent benchmarks seek to assess how well models handle natural language negation. However, these benchmarks lack the controlled example paradigms that would allow us to infer whether a model had learned how negation morphemes semantically scope. To fill these analytical gaps, we present the Scoped Negation NLI (ScoNe-NLI) benchmark, which contains contrast sets of six examples with up to two negations where either zero, one, or both negative morphemes affect the NLI label. We use ScoNe-NLI to assess fine-tuning and in-context learning strategies. We find that RoBERTa and DeBERTa models solve ScoNe-NLI after many shot fine-tuning. For in-context learning, we test InstructGPT models and find that most prompt strategies are not successful, including those using step-by-step reasoning. To better understand this result, we extend ScoNe with ScoNe-NLG, a sentence completion test set that embeds negation reasoning in short narratives. Here, InstructGPT is successful, which reveals the model can correctly reason about negation, but struggles to do so on prompt-adapted NLI examples outside of its core pretraining regime.
• Abstract（参考訳）: 最近のベンチマークでは、モデルが自然言語の否定をいかにうまく処理するかを評価している。 しかし、これらのベンチマークには、モデルが意味論的スコープをどのように否定するかを推測できる制御済みの例パラダイムが欠けている。 これらの分析的ギャップを埋めるために、ゼロ、1、両方の負のモーメントがNLIラベルに影響を与える最大2つの否定を持つ6つの例のコントラストセットを含むScoped Negation NLI(ScoNe-NLI)ベンチマークを示す。 ScoNe-NLIを用いて、微調整および文脈内学習戦略を評価する。 多数のショット微調整を行った結果,RoBERTaとDeBERTaがScoNe-NLIを解くことがわかった。 In-context Learningでは、InstructGPTモデルをテストし、ステップバイステップ推論など、ほとんどの迅速な戦略が成功していないことを確認する。 この結果をよりよく理解するために、短い物語に否定推論を埋め込んだ文補完テストセットであるScoNe-NLGでScoNeを拡張する。 ここでinstructgptが成功し、モデルが正しく否定を推論できるが、そのコアプレトレーニング体制以外では、即座に適応したnliサンプルでそれを行なおうとしている。

関連論文リスト

• Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
  現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。 我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。 モデルは全体として、接尾辞の意味を確実に認識できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T03:14:27Z)
• No Strong Feelings One Way or Another: Re-operationalizing Neutrality in Natural Language Inference [6.485890157501745]
  自然言語推論(NLI)は、言語モデルの推論推論能力を評価するための基礎的なタスクである。 NLIで使用される標準的な3方向分類スキームは、自然な人間の推論のニュアンスを捉えるモデルの能力を評価するのに、よく知られた欠点がある。 我々は、現在のNLIデータセットにおける中立ラベルの運用は、妥当性が低く、矛盾なく解釈され、少なくとも1つの重要な中立感が無視されることを論じる。
  論文  参考訳（メタデータ） (2023-06-16T15:45:08Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Can large language models generate salient negative statements? [18.577880767789097]
  本研究では,大規模言語モデルによる実世界の実体に関する健全な(興味深い)ネガティブなステートメントを生成する能力について検討する。 我々はゼロショットとkショットの制約のないプローブを用いてLSMを探索し、従来の否定生成法と比較した。 異なる領域の被写体に関する生成したリストの正しさと正当性を測定する。
  論文  参考訳（メタデータ） (2023-05-26T09:13:59Z)
• Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation [59.307534363825816]
  否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。 自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
  論文  参考訳（メタデータ） (2022-10-06T23:39:01Z)
• Improving negation detection with negation-focused pre-training [58.32362243122714]
  否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。 最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。 本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-09T02:41:11Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
  否定は自然言語の中核構造である。 本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。 否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
  論文  参考訳（メタデータ） (2021-05-07T21:58:35Z)
• An Analysis of the Utility of Explicit Negative Examples to Improve the Syntactic Abilities of Neural Language Models [32.183409062294466]
  ニューラルネットワークモデルのトレーニングにおいて、明示的なネガティブな例の有用性について検討する。 直接学習の合図があっても、モデルはオブジェクト相対的な節をまたいだ合意の解決に苦しむ。
  論文  参考訳（メタデータ） (2020-04-06T07:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。