論文の概要: Exploring Automatically Perturbed Natural Language Explanations in
Relation Extraction
- arxiv url: http://arxiv.org/abs/2305.15520v1
- Date: Wed, 24 May 2023 19:17:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 19:02:04.636434
- Title: Exploring Automatically Perturbed Natural Language Explanations in
Relation Extraction
- Title（参考訳）: 関係抽出のための自動摂動自然言語説明の探索
- Authors: Wanyun Cui, Xingran Chen
- Abstract要約: 帰納的バイアスの低下による劣化した説明は、元の説明に比べ、競争力や優れた性能を達成できることがわかった。
我々の発見は、自然言語の説明の特徴に関する新しい知見をもたらした。
- 参考スコア（独自算出の注目度）: 20.02647320786556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Previous research has demonstrated that natural language explanations provide
valuable inductive biases that guide models, thereby improving the
generalization ability and data efficiency. In this paper, we undertake a
systematic examination of the effectiveness of these explanations. Remarkably,
we find that corrupted explanations with diminished inductive biases can
achieve competitive or superior performance compared to the original
explanations. Our findings furnish novel insights into the characteristics of
natural language explanations in the following ways: (1) the impact of
explanations varies across different training styles and datasets, with
previously believed improvements primarily observed in frozen language models.
(2) While previous research has attributed the effect of explanations solely to
their inductive biases, our study shows that the effect persists even when the
explanations are completely corrupted. We propose that the main effect is due
to the provision of additional context space. (3) Utilizing the proposed
automatic perturbed context, we were able to attain comparable results to
annotated explanations, but with a significant increase in computational
efficiency, 20-30 times faster.
- Abstract（参考訳）: 従来の研究では、自然言語の説明がモデルに価値ある帰納バイアスを与え、一般化能力とデータ効率を向上させることが示されている。
本稿では,これらの説明の有効性を体系的に検証する。
顕著なことに、帰納的バイアスの低下による破損した説明は、元の説明と比べて競争力や優れた性能を達成することができる。
1) 説明の影響は異なるトレーニングスタイルとデータセットにまたがって異なり, 従来は凍結言語モデルを中心に改善が見られたと思われていた。
2) 従来の研究は, 説明が帰納的バイアスのみに与えられていたが, 説明が完全に損なわれてもその効果は持続することを示した。
提案する主な効果は,追加のコンテキスト空間の提供によるものである。
(3) 提案した自動摂動コンテキストを用いることで,注釈付き説明に匹敵する結果を得ることができたが,計算効率は20～30倍に向上した。
関連論文リスト
- FLamE: Few-shot Learning from Natural Language Explanations [12.496665033682202]
本稿では,自然言語の説明から学習するフレームワークFLamEを紹介する。
自然言語推論の実験は、強いベースラインに対する効果を示す。
人間の評価は、生成した説明の大多数が適切に分類決定を正当化していないことを驚くほど明らかにしている。
論文 参考訳（メタデータ） (2023-06-13T18:01:46Z) - Abductive Commonsense Reasoning Exploiting Mutually Exclusive
Explanations [118.0818807474809]
帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。
自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。
この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
論文 参考訳（メタデータ） (2023-05-24T01:35:10Z) - Complementary Explanations for Effective In-Context Learning [77.83124315634386]
大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。
この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
論文 参考訳（メタデータ） (2022-11-25T04:40:47Z) - The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。
入力と論理的に整合した説明は、通常より正確な予測を示す。
本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-06T17:57:58Z) - Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
テキストデータ上でのサリエンシに基づく説明について検討する。
人はしばしば説明を誤って解釈する。
本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
論文 参考訳（メタデータ） (2022-01-27T15:20:32Z) - Are Training Resources Insufficient? Predict First Then Explain! [54.184609286094044]
我々は、予測理論(PtE)アーキテクチャはモデリングの観点からより効率的なアプローチであると主張している。
PtE構造は説明データが欠如している場合に最もデータ効率のよい手法であることを示す。
論文 参考訳（メタデータ） (2021-08-29T07:04:50Z) - Reflective-Net: Learning from Explanations [3.6245632117657816]
この研究は、既存の説明法、すなわちGrad-CAMに基づいて生成された説明に乗じて、このプロセスを模倣する最初のステップを提供する。
従来のラベル付きデータと組み合わせた説明からの学習は、精度とトレーニング時間の観点から、分類において大幅な改善をもたらす。
論文 参考訳（メタデータ） (2020-11-27T20:40:45Z) - Towards Interpretable Natural Language Understanding with Explanations
as Latent Variables [146.83882632854485]
そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。
我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
論文 参考訳（メタデータ） (2020-10-24T02:05:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。