論文の概要: Logical Reasoning for Natural Language Inference Using Generated Facts
as Atoms
- arxiv url: http://arxiv.org/abs/2305.13214v1
- Date: Mon, 22 May 2023 16:45:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 14:17:48.513701
- Title: Logical Reasoning for Natural Language Inference Using Generated Facts
as Atoms
- Title(参考訳): 生成事実を原子とする自然言語推論の論理推論
- Authors: Joe Stacey, Pasquale Minervini, Haim Dubossarsky, Oana-Maria Camburu
and Marek Rei
- Abstract要約: 本稿では,各モデル決定に責任を負う入力の特定の情報を決定するための,モデルに依存しない論理的枠組みを提案する。
この手法は、予測能力を維持する解釈可能な自然言語推論(NLI)モデルを作成する。
- 参考スコア(独自算出の注目度): 26.286055953538284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art neural models can now reach human performance levels across
various natural language understanding tasks. However, despite this impressive
performance, models are known to learn from annotation artefacts at the expense
of the underlying task. While interpretability methods can identify influential
features for each prediction, there are no guarantees that these features are
responsible for the model decisions. Instead, we introduce a model-agnostic
logical framework to determine the specific information in an input responsible
for each model decision. This method creates interpretable Natural Language
Inference (NLI) models that maintain their predictive power. We achieve this by
generating facts that decompose complex NLI observations into individual
logical atoms. Our model makes predictions for each atom and uses logical rules
to decide the class of the observation based on the predictions for each atom.
We apply our method to the highly challenging ANLI dataset, where our framework
improves the performance of both a DeBERTa-base and BERT baseline. Our method
performs best on the most challenging examples, achieving a new
state-of-the-art for the ANLI round 3 test set. We outperform every baseline in
a reduced-data setting, and despite using no annotations for the generated
facts, our model predictions for individual facts align with human
expectations.
- Abstract(参考訳): 最先端のニューラルネットワークは、さまざまな自然言語理解タスクで人間のパフォーマンスレベルに到達することができる。
しかし、この印象的なパフォーマンスにもかかわらず、モデルは基礎となるタスクを犠牲にしてアノテーションアーティファクトから学ぶことが知られている。
解釈可能性法は各予測に影響を及ぼす特徴を識別できるが、これらの特徴がモデル決定に責任を持つという保証はない。
代わりに、モデルに依存しない論理フレームワークを導入し、各モデル決定に責任を持つ入力の特定の情報を決定する。
この手法は、予測能力を維持する解釈可能な自然言語推論(NLI)モデルを作成する。
我々は、複雑なNLI観測を個々の論理原子に分解する事実を生成する。
本モデルは,各原子の予測を行い,各原子の予測に基づいて観測のクラスを決定するために論理規則を用いる。
提案手法を高度に挑戦するANLIデータセットに適用し,DeBERTaベースとBERTベースラインの性能を向上させる。
提案手法は最も困難な例で最善を尽くし,anli ラウンド3 テストセットの新たな最先端を実現した。
生成した事実に対するアノテーションを使用しないにもかかわらず、個々の事実に対するモデル予測は人間の期待と一致している。
関連論文リスト
- Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z) - Multi-Scales Data Augmentation Approach In Natural Language Inference
For Artifacts Mitigation And Pre-Trained Model Optimization [0.0]
クラウドソーシングされたStanford Natural Language Inference corpus内でデータセットのアーティファクトを分析し、配置するための様々な技術を提供する。
データセットアーティファクトを緩和するために、2つの異なるフレームワークで独自のマルチスケールデータ拡張技術を採用している。
本手法は, 摂動試験に対するモデルの抵抗性を向上し, トレーニング済みベースラインの連続的な性能向上を可能にする。
論文 参考訳(メタデータ) (2022-12-16T23:37:44Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Logical Reasoning with Span Predictions: Span-level Logical Atoms for
Interpretable and Robust NLI Models [19.601700560645206]
現在の自然言語推論(NLI)モデルは、時には非分配テストセットで人間よりも優れた結果が得られる。
我々はNLIのための論理的推論フレームワークを導入し、論理的ルールに基づいた極めて透明なモデル決定を作成します。
SNLIの性能をほぼ完全に維持しつつ、各モデル予測に責任を持つ正確な仮説を特定できます。
論文 参考訳(メタデータ) (2022-05-23T16:24:27Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - Explaining the Deep Natural Language Processing by Mining Textual
Interpretable Features [3.819533618886143]
T-EBAnOは、深層自然言語モデルに適した、予測ローカルでクラスベースのモデル-言語的説明戦略である。
自動意思決定プロセスの背後にある理由について、客観的で、人間可読で、ドメイン固有の評価を提供する。
論文 参考訳(メタデータ) (2021-06-12T06:25:09Z) - Unnatural Language Inference [48.45003475966808]
我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。
我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
論文 参考訳(メタデータ) (2020-12-30T20:40:48Z) - PSD2 Explainable AI Model for Credit Scoring [0.0]
本研究の目的は、信用リスクモデルの予測精度を向上させるための高度な分析手法の開発と試験である。
このプロジェクトは、銀行関連のデータベースに説明可能な機械学習モデルを適用することに焦点を当てている。
論文 参考訳(メタデータ) (2020-11-20T12:12:38Z) - Explaining and Improving Model Behavior with k Nearest Neighbor
Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。
我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。
以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文 参考訳(メタデータ) (2020-10-18T16:55:25Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳(メタデータ) (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。