Fugu-MT 論文翻訳(概要): AMR4NLI: Interpretable and robust NLI measures from semantic graphs

論文の概要: AMR4NLI: Interpretable and robust NLI measures from semantic graphs

arxiv url: http://arxiv.org/abs/2306.00936v2
Date: Tue, 5 Sep 2023 13:36:27 GMT
ステータス: 処理完了
システム内更新日: 2023-09-07 04:54:56.902051
Title: AMR4NLI: Interpretable and robust NLI measures from semantic graphs
Title（参考訳）: AMR4NLI:意味グラフからの解釈可能かつ堅牢なNLI測度
Authors: Juri Opitz and Shira Wein and Julius Steen and Anette Frank and Nathan Schneider
Abstract要約: 自然言語推論は、ある前提が与えられた仮説を含むかどうかを問う。セマンティック構造を比較し、セマンティックな埋め込みやセマンティックグラフの集合を含む前提と仮説を表現する。本評価では,文脈的埋め込みと意味グラフの両方に価値を見出す。
参考スコア（独自算出の注目度）: 28.017617759762278
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The task of natural language inference (NLI) asks whether a given premise (expressed in NL) entails a given NL hypothesis. NLI benchmarks contain human ratings of entailment, but the meaning relationships driving these ratings are not formalized. Can the underlying sentence pair relationships be made more explicit in an interpretable yet robust fashion? We compare semantic structures to represent premise and hypothesis, including sets of contextualized embeddings and semantic graphs (Abstract Meaning Representations), and measure whether the hypothesis is a semantic substructure of the premise, utilizing interpretable metrics. Our evaluation on three English benchmarks finds value in both contextualized embeddings and semantic graphs; moreover, they provide complementary signals, and can be leveraged together in a hybrid model.
Abstract（参考訳）: 自然言語推論(NLI)のタスクは、与えられた前提(NLで表される)が与えられたNL仮説を含むかどうかを問うものである。 NLIベンチマークには人間による評価が含まれているが、これらの評価を駆動する関係は形式化されていない。文対関係は、解釈可能で頑健な方法でより明確化できるのか? 文脈的埋め込みや意味グラフ(抽象的意味表現)の集合を含む前提と仮説のセマンティック構造を比較し,その仮説が前提のセマンティックサブ構造であるかどうかを解釈可能な指標を用いて測定する。 3つの英語ベンチマークの評価では,コンテキスト化された埋め込みと意味グラフの両方に価値を見出すことができた。

関連論文リスト

Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis [2.2530496464901106]
スペイン語の単言語モデルと多言語BERTモデルを用いて、文脈におけるスペイン語のあいまいな名詞の意味表現を評価する。様々な BERT ベースの LM の文脈的意味表現は、人間の判断に多少の違いがあるが、ヒトのベンチマークには及ばない。
論文参考訳（メタデータ） (2024-06-20T18:58:11Z)
Log Probabilities Are a Reliable Estimate of Semantic Plausibility in Base and Instruction-Tuned Language Models [50.15455336684986]
意味的妥当性を評価するため,LogProbsの有効性と基本的なプロンプトを評価した。 LogProbsは、直接ゼロショットプロンプトよりも、より信頼性の高いセマンティックな妥当性を提供する。我々は,プロンプトベースの評価の時代においても,LogProbsは意味的妥当性の有用な指標である,と結論付けた。
論文参考訳（メタデータ） (2024-03-21T22:08:44Z)
Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文参考訳（メタデータ） (2023-05-24T06:41:09Z)
Natural Language Decompositions of Implicit Content Enable Better Text Representations [56.85319224208865]
本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
論文参考訳（メタデータ） (2023-05-23T23:45:20Z)
PropSegmEnt: A Large-Scale Corpus for Proposition-Level Segmentation and Entailment Recognition [63.51569687229681]
文中の各命題の文的含意関係を個別に認識する必要性について論じる。提案するPropSegmEntは45K以上の提案のコーパスであり, 専門家によるアノテートを行う。我々のデータセット構造は、(1)文書内の文章を命題の集合に分割し、(2)異なるが、トポジカルに整合した文書に対して、各命題の含意関係を分類するタスクに類似している。
論文参考訳（メタデータ） (2022-12-21T04:03:33Z)
Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
論文参考訳（メタデータ） (2022-10-18T10:03:51Z)
SBERT studies Meaning Representations: Decomposing Sentence Embeddings into Explainable AMR Meaning Features [22.8438857884398]
非常に効果的な類似度メトリクスを作成しながら、評価の解釈可能な根拠を提供します。まず、キーセマンティック・ファセットに対する文の類似性を測るAMRグラフメトリクスを選択します。第二に、これらのメトリクスを用いてセマンティックな構造化文BERT埋め込みを誘導する。
論文参考訳（メタデータ） (2022-06-14T17:37:18Z)
A Fine-grained Interpretability Evaluation Benchmark for Neural NLP [44.08113828762984]
このベンチマークでは、感情分析、テキスト類似性、読解の3つのNLPタスクをカバーしている。十分にコンパクトで包括的に注釈付けされたトークンレベルの合理性を提供します。 3つのサリエンシ手法を用いた3つの典型的なモデルについて実験を行い、その強度と弱さを解釈可能性の観点から明らかにした。
論文参考訳（メタデータ） (2022-05-23T07:37:04Z)
Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference [5.283529004179579]
自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。包含を理解するモデルは前提と仮説の両方をエンコードするべきである。 Poliakらによる実験。仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
論文参考訳（メタデータ） (2021-01-19T01:08:06Z)
Measuring Association Between Labels and Free-Text Rationales [60.58672852655487]
解釈可能なNLPでは、説明された例に対するモデルの意思決定プロセスを反映した忠実な理性が必要です。情報抽出型タスクに対する忠実な抽出合理化のための既存のモデルであるパイプラインは、自由テキスト合理化を必要とするタスクに確実に拡張されないことを示す。我々は、信頼が確立されていない自由文合理化のための、広く使われている高性能モデルのクラスである、共同予測と合理化のモデルに目を向ける。
論文参考訳（メタデータ） (2020-10-24T03:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。