Fugu-MT 論文翻訳(概要): A Multilingual Perspective Towards the Evaluation of Attribution Methods in Natural Language Inference

論文の概要: A Multilingual Perspective Towards the Evaluation of Attribution Methods in Natural Language Inference

arxiv url: http://arxiv.org/abs/2204.05428v1
Date: Mon, 11 Apr 2022 22:11:05 GMT
ステータス: 処理完了
システム内更新日: 2022-04-13 11:37:58.348421
Title: A Multilingual Perspective Towards the Evaluation of Attribution Methods in Natural Language Inference
Title（参考訳）: 自然言語推論における帰属法評価のための多言語的視点
Authors: Kerem Zaman, Yonatan Belinkov
Abstract要約: 本稿では,自然言語推論タスクの帰属度を評価するための多言語的手法を提案する。まず,単語のアライメントに基づいて忠実度を測定するための新たな言語間戦略を提案する。次に、異なる出力機構と集約手法を考慮し、帰属手法の包括的な評価を行う。
参考スコア（独自算出の注目度）: 28.949004915740776
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Most evaluations of attribution methods focus on the English language. In this work, we present a multilingual approach for evaluating attribution methods for the Natural Language Inference (NLI) task in terms of plausibility and faithfulness properties. First, we introduce a novel cross-lingual strategy to measure faithfulness based on word alignments, which eliminates the potential downsides of erasure-based evaluations. We then perform a comprehensive evaluation of attribution methods, considering different output mechanisms and aggregation methods. Finally, we augment the XNLI dataset with highlight-based explanations, providing a multilingual NLI dataset with highlights, which may support future exNLP studies. Our results show that attribution methods performing best for plausibility and faithfulness are different.
Abstract（参考訳）: 帰属法のほとんどの評価は英語に焦点を当てている。本研究では,自然言語推論(NLI)タスクに対する帰属的手法を,妥当性と忠実性の観点から評価するための多言語的アプローチを提案する。まず,単語アライメントに基づいて忠実度を測定するための新たな言語間戦略を導入する。次に,異なる出力機構と集約手法を考慮した帰属法の包括的評価を行う。最後に、xnliデータセットをハイライトベースの説明で拡張し、将来のexnlp研究をサポートするハイライト付き多言語nliデータセットを提供する。以上の結果から,妥当性と忠実性に最適な属性法が異なることが明らかとなった。

関連論文リスト

Distilling Monolingual and Crosslingual Word-in-Context Representations [18.87665111304974]
本研究では,単言語と言語間の両方の設定において,事前学習した言語モデルから文脈における単語の意味表現を除去する手法を提案する。本手法では,事前学習したモデルのコーパスやパラメータの更新は不要である。本手法は,事前学習したモデルの異なる隠れ層の出力を自己注意を用いて組み合わせることから学習する。
論文参考訳（メタデータ） (2024-09-13T11:10:16Z)
Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
論文参考訳（メタデータ） (2023-07-09T04:52:31Z)
A Simple and Effective Method of Cross-Lingual Plagiarism Detection [0.0]
本稿では,多数の言語に適用可能な単純な言語間プラジャリズム検出手法を提案する。提案手法は,候補検索タスクにオープンな多言語セサリと,詳細な解析に事前訓練された多言語BERT言語モデルを利用する。提案手法の有効性は、いくつかの既存および新しいベンチマークで実証され、フランス語、ロシア語、アルメニア語に対する最先端の結果が得られた。
論文参考訳（メタデータ） (2023-04-03T20:27:10Z)
A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
論文参考訳（メタデータ） (2022-05-31T05:54:18Z)
Unsupervised Alignment of Distributional Word Embeddings [0.0]
クロスドメインアライメントは、機械翻訳から伝達学習までのタスクにおいて重要な役割を果たす。提案手法は,複数の言語対をまたいだバイリンガル語彙誘導タスクにおいて,優れた性能を発揮することを示す。
論文参考訳（メタデータ） (2022-03-09T16:39:06Z)
On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness, and Semantic Evaluation [23.72825603188359]
我々は、任意のテキストシーケンスを説明単位として許容することにより、説明の解釈可能性を向上させることができる。本研究では,人間による説明の判断に適合する意味に基づく評価指標を提案する。
論文参考訳（メタデータ） (2021-06-09T00:49:56Z)
TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文参考訳（メタデータ） (2021-03-21T17:20:38Z)
Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond [58.80417796087894]
多言語事前訓練言語モデル(mPTLM)による言語間適応は、主にゼロショットアプローチと翻訳に基づくアプローチの2行からなる。本稿では、ゼロショットアプローチと翻訳に基づくアプローチを統合し、適応性能を向上させるための新しいフレームワークを提案する。
論文参考訳（メタデータ） (2020-10-23T13:47:01Z)
Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2020-09-30T08:56:53Z)
Multilingual Chart-based Constituency Parse Extraction from Pre-trained Language Models [21.2879567125422]
本稿では,事前学習した言語モデルから完全(バイナリ)構文を抽出する手法を提案する。本手法を多言語 PLM に適用することにより,9つの言語から文に対する非自明なパースを導き出すことができる。
論文参考訳（メタデータ） (2020-04-08T05:42:26Z)
Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
論文参考訳（メタデータ） (2019-12-28T16:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。