論文の概要: Logical Reasoning with Span Predictions: Span-level Logical Atoms for
Interpretable and Robust NLI Models
- arxiv url: http://arxiv.org/abs/2205.11432v1
- Date: Mon, 23 May 2022 16:24:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-24 15:07:59.285666
- Title: Logical Reasoning with Span Predictions: Span-level Logical Atoms for
Interpretable and Robust NLI Models
- Title（参考訳）: スパン予測を用いた論理推論:解釈可能かつロバストなnliモデルのためのスパンレベル論理原子
- Authors: Joe Stacey, Pasquale Minervini, Haim Dubossarsky and Marek Rei
- Abstract要約: 現在の自然言語推論(NLI)モデルは、時には非分配テストセットで人間よりも優れた結果が得られる。
我々はNLIのための論理的推論フレームワークを導入し、論理的ルールに基づいた極めて透明なモデル決定を作成します。
SNLIの性能をほぼ完全に維持しつつ、各モデル予測に責任を持つ正確な仮説を特定できます。
- 参考スコア（独自算出の注目度）: 19.601700560645206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current Natural Language Inference (NLI) models achieve impressive results,
sometimes outperforming humans when evaluating on in-distribution test sets.
However, as these models are known to learn from annotation artefacts and
dataset biases, it is unclear to what extent the models are learning the task
of NLI instead of learning from shallow heuristics in their training data. We
address this issue by introducing a logical reasoning framework for NLI,
creating highly transparent model decisions that are based on logical rules.
Unlike prior work, we show that the improved interpretability can be achieved
without decreasing the predictive accuracy. We almost fully retain performance
on SNLI while identifying the exact hypothesis spans that are responsible for
each model prediction. Using the e-SNLI human explanations, we also verify that
our model makes sensible decisions at a span level, despite not using any
span-level labels during training. We can further improve model performance and
the span-level decisions by using the e-SNLI explanations during training.
Finally, our model outperforms its baseline in a reduced data setting. When
training with only 100 examples, in-distribution performance improves by 18%,
while out-of-distribution performance improves on SNLI-hard, MNLI-mismatched,
MNLI-matched and SICK by 11%, 26%, 22%, and 21% respectively.
- Abstract（参考訳）: 現在の自然言語推論(NLI)モデルは、分散テストセットの評価において、人間よりも優れた結果が得られる。
しかしながら、これらのモデルはアノテーションのアーチファクトやデータセットのバイアスから学ぶことが知られているため、トレーニングデータの浅いヒューリスティックから学ぶのではなく、NLIのタスクをどの程度学習しているかは明らかではない。
我々は、NLIの論理的推論フレームワークを導入し、論理的ルールに基づいた極めて透明なモデル決定を作成することでこの問題に対処する。
先行研究と異なり, 予測精度を低下させることなく, 解釈性の向上が達成できることを示す。
SNLIの性能をほぼ完全に維持しつつ、各モデル予測に責任を持つ正確な仮説を特定できます。
e-SNLIの人間による説明を用いて、トレーニング中にスパンレベルのラベルを使用しないにもかかわらず、我々のモデルがスパンレベルで合理的な決定を下すことを検証する。
トレーニング中のe-SNLI説明を用いて、モデル性能とスパンレベル決定をさらに改善することができる。
最終的に、我々のモデルは、そのベースラインを減らしたデータ設定で上回る。
100例のトレーニングでは18%向上し,snli-hard,mnli-mismatched,mnli-matched,snli-matchedでは11%,26%,22%,21%向上した。
関連論文リスト
- Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳（メタデータ） (2024-06-07T11:37:45Z) - Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised
Language Understanding [38.11411155621616]
我々は,主に半教師あり学習の手法として,自己学習について研究している。
我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。
UPETは性能と効率の面で大幅に向上したことを示す。
論文 参考訳（メタデータ） (2023-10-19T02:18:29Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Entailment as Robust Self-Learner [14.86757876218415]
我々は、複数の異なるNLUタスクを文脈的エンターテイメントとして定式化するプロンプト戦略を設計する。
自己学習における擬似ラベル品質向上のための簡易擬似ラベル編集(SimPLE)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-26T18:41:23Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳（メタデータ） (2023-04-07T23:51:07Z) - Uncertainty Estimation for Language Reward Models [5.33024001730262]
言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。
人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。
能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
論文 参考訳（メタデータ） (2022-03-14T20:13:21Z) - Embarrassingly Simple Performance Prediction for Abductive Natural
Language Inference [10.536415845097661]
本研究では,NLIモデルの性能を微調整せずに予測する手法を提案する。
その結果,コサイン類似度手法の精度はパーソン相関係数0.65の分類手法の精度と強く相関していることがわかった。
提案手法は,モデル選択の過程において,大幅な時間節約につながる可能性がある。
論文 参考訳（メタデータ） (2022-02-21T18:10:24Z) - Explaining and Improving Model Behavior with k Nearest Neighbor
Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。
我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。
以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文 参考訳（メタデータ） (2020-10-18T16:55:25Z) - Discriminatively-Tuned Generative Classifiers for Robust Natural
Language Inference [59.62779187457773]
自然言語推論のための生成型分類器(NLI)を提案する。
差別モデルやBERTのような大規模事前学習言語表現モデルを含む5つのベースラインと比較する。
実験の結果、GenNLIはいくつかの挑戦的なNLI実験環境において差別的ベースラインと事前訓練ベースラインの両方に優れていた。
論文 参考訳（メタデータ） (2020-10-08T04:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。