論文の概要: Does External Knowledge Help Explainable Natural Language Inference? Automatic Evaluation vs. Human Ratings

• arxiv url: http://arxiv.org/abs/2109.07833v1
• Date: Thu, 16 Sep 2021 09:56:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 13:54:57.653297
• Title: Does External Knowledge Help Explainable Natural Language Inference? Automatic Evaluation vs. Human Ratings
• Title（参考訳）: 外部知識は説明可能な自然言語推論に役立つか? 人格評価と自動評価
• Authors: Hendrik Schuff, Hsiu-Yu Yang, Heike Adel, Ngoc Thang Vu
• Abstract要約: 自然言語推論(NLI)は、常識知識を学習し応用するためのモデルを必要とする。 外部知識が説明能力を向上させることができるかどうかを考察する。 我々はこれまでで最大かつ最もきめ細かいNLIクラウドソーシング研究を行っている。
• 参考スコア（独自算出の注目度）: 35.2513653224183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language inference (NLI) requires models to learn and apply commonsense knowledge. These reasoning abilities are particularly important for explainable NLI systems that generate a natural language explanation in addition to their label prediction. The integration of external knowledge has been shown to improve NLI systems, here we investigate whether it can also improve their explanation capabilities. For this, we investigate different sources of external knowledge and evaluate the performance of our models on in-domain data as well as on special transfer datasets that are designed to assess fine-grained reasoning capabilities. We find that different sources of knowledge have a different effect on reasoning abilities, for example, implicit knowledge stored in language models can hinder reasoning on numbers and negations. Finally, we conduct the largest and most fine-grained explainable NLI crowdsourcing study to date. It reveals that even large differences in automatic performance scores do neither reflect in human ratings of label, explanation, commonsense nor grammar correctness.
• Abstract（参考訳）: 自然言語推論(NLI)は、常識知識を学習し応用するためのモデルを必要とする。 これらの推論能力は、ラベル予測に加えて自然言語説明を生成する説明可能なnliシステムにおいて特に重要である。 外部知識の統合はNLIシステムを改善することが示されており、その説明能力も改善できるか検討する。 そこで本研究では,外部知識の異なるソースを調査し,ドメイン内データおよび細粒度推論能力を評価する特別転送データセット上でのモデルの性能評価を行う。 例えば、言語モデルに記憶されている暗黙的な知識は、数や否定の推論を妨げる可能性がある。 最後に,これまでで最大かつ最もきめ細かいNLIクラウドソーシング研究を行っている。 自動演奏スコアの大きな違いは、ラベル、説明、常識、文法の正確性といった人間の評価を反映しないことが明らかになった。

関連論文リスト

• Does Knowledge Localization Hold True? Surprising Differences Between Entity and Relation Perspectives in Language Models [20.157061521694096]
  本研究では,知識編集による実体的知識と関係的知識の相違について検討する。 実体的知識と関係的知識の差異をさらに解明するために,関係的知識が事前学習されたモデルにどのように格納されているかを調べるために因果解析を用いる。 この洞察は、言語モデルにおける知識記憶の多面的な性質を強調し、これらのモデル内で特定の種類の知識を操作する複雑さを浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-09-01T05:09:11Z)
• Large Language Models Are Cross-Lingual Knowledge-Free Reasoners [43.99097308487008]
  我々は,タスクの推論過程を,知識検索と知識のない推論という2つの分離された構成要素に分解する。 知識のない推論能力は,様々なソース・ターゲット言語方向にほぼ完全に移行可能であることを示す。 知識のない推論は、異なる言語で類似したニューロンを推論するために共有し、知識は異なる言語に別々に格納する、という仮説を立てる。
  論文  参考訳（メタデータ） (2024-06-24T14:03:04Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• Does Knowledge Help General NLU? An Empirical Study [13.305282275999781]
  言語モデルのエンドツーエンド性能を計測し,外部知識の寄与について検討する。 知識の導入は、他のタスクに悪影響を及ぼすことなく、特定のタスクにおける結果を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2021-09-01T18:17:36Z)
• ExBERT: An External Knowledge Enhanced BERT for Natural Language Inference [5.188712126001397]
  我々は、外部知識強化BERT(ExBERT)と呼ばれる自然言語推論(NLI)の新しいモデルを導入する。 ExBERTは、BERTから得られた文脈表現を最大限に活用し、知識グラフから関連する外部知識を取得する。 我々のモデルは、入力に対する推論に必要な外部知識コンテキストを適応的に組み込む。
  論文  参考訳（メタデータ） (2021-08-03T15:56:49Z)
• NILE : Natural Language Inference with Faithful Natural Language Explanations [10.074153632701952]
  ラベル特定説明(NILE)に対する自然言語推論を提案する。 NILEは、ラベル固有の説明を自動生成し、その忠実な説明とともにラベルを作成する新しいNLI手法である。 我々は, NILE の説明の忠実さを, 対応する説明に対する決定の敏感さの観点から論じる。
  論文  参考訳（メタデータ） (2020-05-25T13:56:03Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。