Fugu-MT 論文翻訳(概要): Understanding by Understanding Not: Modeling Negation in Language Models

論文の概要: Understanding by Understanding Not: Modeling Negation in Language Models

arxiv url: http://arxiv.org/abs/2105.03519v1
Date: Fri, 7 May 2021 21:58:35 GMT
ステータス: 処理完了
システム内更新日: 2021-05-11 15:04:19.442126
Title: Understanding by Understanding Not: Modeling Negation in Language Models
Title（参考訳）: notの理解による理解:言語モデルにおける否定のモデリング
Authors: Arian Hosseini, Siva Reddy, Dzmitry Bahdanau, R Devon Hjelm, Alessandro Sordoni and Aaron Courville
Abstract要約: 否定は自然言語の中核構造である。本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
参考スコア（独自算出の注目度）: 81.21351681735973
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Negation is a core construction in natural language. Despite being very successful on many tasks, state-of-the-art pre-trained language models often handle negation incorrectly. To improve language models in this regard, we propose to augment the language modeling objective with an unlikelihood objective that is based on negated generic sentences from a raw text corpus. By training BERT with the resulting combined objective we reduce the mean top~1 error rate to 4% on the negated LAMA dataset. We also see some improvements on the negated NLI benchmarks.
Abstract（参考訳）: 否定は自然言語の中核構造である。多くのタスクで非常に成功したにもかかわらず、最先端の事前学習された言語モデルは、しばしば否定を正しく処理する。この点において、言語モデルを改善するために、原文コーパスから否定的な汎用文をベースとした、異種目的の言語モデリングの目的を強化することを提案する。 BERTと組み合わせた目標をトレーニングすることにより、否定されたLAMAデータセット上で平均1エラー率を4%に削減する。また、否定的なNLIベンチマークも改善されている。

関連論文リスト

Language-Independent Representations Improve Zero-Shot Summarization [18.46817967804773]
下流生成タスクで事前訓練されたモデルを微調整すると、ゼロショット条件で大惨事に陥ることが多い。本研究では,要約に焦点をあて,言語に依存しない表現のレンズを用いてこの問題に対処する。まず, 出力挙動と内部表現の両面において, 微調整モデルが非常に言語固有であることが示され, その結果, ゼロショット性能は低下した。
論文参考訳（メタデータ） (2024-04-08T17:56:43Z)
This is not a Dataset: A Large Negation Benchmark to Challenge Large Language Models [4.017326849033009]
我々は,否定を理解する大規模言語モデルの最適部分性能の理由を明らかにする。我々は,コモンセンス知識に関する40万前後の記述文を半自動生成する大規模データセットを提案する。我々は,その一般化と推論能力を把握するために,ゼロショットアプローチで利用可能な最大オープンLCMを用いてデータセットを構築した。
論文参考訳（メタデータ） (2023-10-24T15:38:21Z)
Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。我々は,単語順序の重要性を維持するために強制的無効化を提案する。実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文参考訳（メタデータ） (2023-04-11T13:42:10Z)
CONDAQA: A Contrastive Reading Comprehension Dataset for Reasoning about Negation [21.56001677478673]
本稿では,段落における否定文の意味に関する推論を必要とする,最初の英語読解データセットを提案する。 CONDAQAは1,182組の質問応答ペアと200以上のユニークな否定的手がかりを備える。 CONDAQAの最高のパフォーマンスモデル(UnifiedQA-v2-3b)は、我々の一貫性基準で42%しか達成できません。
論文参考訳（メタデータ） (2022-11-01T06:10:26Z)
Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文参考訳（メタデータ） (2022-10-23T00:37:08Z)
Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
論文参考訳（メタデータ） (2022-05-26T21:11:51Z)
Improving negation detection with negation-focused pre-training [58.32362243122714]
否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
論文参考訳（メタデータ） (2022-05-09T02:41:11Z)
Detecting and Exorcising Statistical Demons from Language Models with Anti-Models of Negative Data [13.392212395386933]
モデルファミリー内では、パラメータの数、訓練エポック数、データセットのサイズが増加するため、モデルが負のn-gramデータに一般化する能力がある。本稿では,このような望ましくない信号を正のデータから自動的に学習した負のデータ分布で減衰させる帰納バイアスの形式を提案する。
論文参考訳（メタデータ） (2020-10-22T16:45:32Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)
An Analysis of the Utility of Explicit Negative Examples to Improve the Syntactic Abilities of Neural Language Models [32.183409062294466]
ニューラルネットワークモデルのトレーニングにおいて、明示的なネガティブな例の有用性について検討する。直接学習の合図があっても、モデルはオブジェクト相対的な節をまたいだ合意の解決に苦しむ。
論文参考訳（メタデータ） (2020-04-06T07:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。