論文の概要: Logical Reasoning for Natural Language Inference Using Generated Facts as Atoms

• arxiv url: http://arxiv.org/abs/2305.13214v1
• Date: Mon, 22 May 2023 16:45:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 14:17:48.513701
• Title: Logical Reasoning for Natural Language Inference Using Generated Facts as Atoms
• Title（参考訳）: 生成事実を原子とする自然言語推論の論理推論
• Authors: Joe Stacey, Pasquale Minervini, Haim Dubossarsky, Oana-Maria Camburu and Marek Rei
• Abstract要約: 本稿では,各モデル決定に責任を負う入力の特定の情報を決定するための,モデルに依存しない論理的枠組みを提案する。 この手法は、予測能力を維持する解釈可能な自然言語推論(NLI)モデルを作成する。
• 参考スコア（独自算出の注目度）: 26.286055953538284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art neural models can now reach human performance levels across various natural language understanding tasks. However, despite this impressive performance, models are known to learn from annotation artefacts at the expense of the underlying task. While interpretability methods can identify influential features for each prediction, there are no guarantees that these features are responsible for the model decisions. Instead, we introduce a model-agnostic logical framework to determine the specific information in an input responsible for each model decision. This method creates interpretable Natural Language Inference (NLI) models that maintain their predictive power. We achieve this by generating facts that decompose complex NLI observations into individual logical atoms. Our model makes predictions for each atom and uses logical rules to decide the class of the observation based on the predictions for each atom. We apply our method to the highly challenging ANLI dataset, where our framework improves the performance of both a DeBERTa-base and BERT baseline. Our method performs best on the most challenging examples, achieving a new state-of-the-art for the ANLI round 3 test set. We outperform every baseline in a reduced-data setting, and despite using no annotations for the generated facts, our model predictions for individual facts align with human expectations.
• Abstract（参考訳）: 最先端のニューラルネットワークは、さまざまな自然言語理解タスクで人間のパフォーマンスレベルに到達することができる。 しかし、この印象的なパフォーマンスにもかかわらず、モデルは基礎となるタスクを犠牲にしてアノテーションアーティファクトから学ぶことが知られている。 解釈可能性法は各予測に影響を及ぼす特徴を識別できるが、これらの特徴がモデル決定に責任を持つという保証はない。 代わりに、モデルに依存しない論理フレームワークを導入し、各モデル決定に責任を持つ入力の特定の情報を決定する。 この手法は、予測能力を維持する解釈可能な自然言語推論(NLI)モデルを作成する。 我々は、複雑なNLI観測を個々の論理原子に分解する事実を生成する。 本モデルは,各原子の予測を行い,各原子の予測に基づいて観測のクラスを決定するために論理規則を用いる。 提案手法を高度に挑戦するANLIデータセットに適用し,DeBERTaベースとBERTベースラインの性能を向上させる。 提案手法は最も困難な例で最善を尽くし,anli ラウンド3 テストセットの新たな最先端を実現した。 生成した事実に対するアノテーションを使用しないにもかかわらず、個々の事実に対するモデル予測は人間の期待と一致している。

関連論文リスト

• Relation-based Counterfactual Data Augmentation and Contrastive Learning for Robustifying Natural Language Inference Models [0.0]
  本稿では,トークンベースおよび文ベースの拡張手法を用いて,対実文ペアを生成する手法を提案する。 提案手法は,NLIモデルの性能とロバスト性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-28T03:43:25Z)
• Enhancing adversarial robustness in Natural Language Inference using explanations [41.46494686136601]
  自然言語推論(NLI)の未探索課題に注目点を当てた。 我々は、広範囲な実験を通じて、モデルに依存しない防衛戦略として、自然言語説明の使用を検証した。 本研究では,広範に使用されている言語生成指標と人間の知覚との相関について検討し,それらが堅牢なNLIモデルへのプロキシとして機能するようにした。
  論文  参考訳（メタデータ） (2024-09-11T17:09:49Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• Faithfulness Tests for Natural Language Explanations [87.01093277918599]
  ニューラルモデルの説明は、その予測のためのモデルの意思決定プロセスを明らかにすることを目的としている。 近年の研究では,サリエンシマップやファクトファクトファクトダクトなどの説明を行う手法が誤解を招く可能性があることが示されている。 本研究は,自然言語の説明の忠実さを評価する上での課題について考察する。
  論文  参考訳（メタデータ） (2023-05-29T11:40:37Z)
• An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
  生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。 実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-31T03:26:55Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference [5.283529004179579]
  自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。 包含を理解するモデルは前提と仮説の両方をエンコードするべきである。 Poliakらによる実験。 仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
  論文  参考訳（メタデータ） (2021-01-19T01:08:06Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• To what extent do human explanations of model behavior align with actual model behavior? [91.67905128825402]
  モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。 自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。 モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
  論文  参考訳（メタデータ） (2020-12-24T17:40:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。