Fugu-MT 論文翻訳(概要): ExpBERT: Representation Engineering with Natural Language Explanations

論文の概要: ExpBERT: Representation Engineering with Natural Language Explanations

arxiv url: http://arxiv.org/abs/2005.01932v1
Date: Tue, 5 May 2020 03:40:23 GMT
ステータス: 処理完了
システム内更新日: 2022-12-06 13:05:46.120084
Title: ExpBERT: Representation Engineering with Natural Language Explanations
Title（参考訳）: ExpBERT:自然言語による表現工学
Authors: Shikhar Murty, Pang Wei Koh, and Percy Liang
Abstract要約: 我々は、MultiNLIに微調整されたBERTを用いて、入力文に関するこれらの説明を解釈する。 3つの関係抽出タスクのうち,提案手法であるExpBERTはBERTベースラインと一致するが,ラベル付きデータを3～20倍少なくし,同じラベル付きデータを3～10F1ポイント改善する。
参考スコア（独自算出の注目度）: 83.32962614424198
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Suppose we want to specify the inductive bias that married couples typically go on honeymoons for the task of extracting pairs of spouses from text. In this paper, we allow model developers to specify these types of inductive biases as natural language explanations. We use BERT fine-tuned on MultiNLI to ``interpret'' these explanations with respect to the input sentence, producing explanation-guided representations of the input. Across three relation extraction tasks, our method, ExpBERT, matches a BERT baseline but with 3--20x less labeled data and improves on the baseline by 3--10 F1 points with the same amount of labeled data.
Abstract（参考訳）: 夫婦が通常、テキストから配偶者のペアを抽出するタスクのために新婚旅行に出かける帰納的バイアスを規定したいとします。本稿では,モデル開発者がこのような帰納的バイアスを自然言語の説明として指定できるようにする。我々は、MultiNLIで微調整されたBERTを用いて、入力文に関するこれらの説明を ``interpret'' し、入力の説明誘導表現を生成する。 3つの関係抽出タスクのうち,提案手法であるExpBERTはBERTベースラインと一致するが,ラベル付きデータを3～20倍少なくし,同じラベル付きデータを3～10F1ポイント改善する。

関連論文リスト

TAGExplainer: Narrating Graph Explanations for Text-Attributed Graph Learning Models [14.367754016281934]
本稿では,TAG学習のための自然言語記述法であるTAGExplainerを提案する。実世界のシナリオにおける注釈付き真実説明の欠如に対処するため,まず,サリエンシに基づく説明からモデルの判断を捉える擬似ラベルを生成することを提案する。高品質な擬似ラベルを使用して、エンド・ツー・エンドの説明生成モデルを訓練する。
論文参考訳（メタデータ） (2024-10-20T03:55:46Z)
Identification of Entailment and Contradiction Relations between Natural Language Sentences: A Neurosymbolic Approach [8.931767102433637]
自然言語推論(NLI)は、自然言語理解の重要な側面である。 RTEへの説明可能なアプローチの必要性に対処するために,テキストを抽象表現に変換する新しいパイプラインを提案する。次に、AMRグラフを命題論理に変換し、SATソルバを用いて自動推論を行う。
論文参考訳（メタデータ） (2024-05-02T13:06:24Z)
Leveraging Affirmative Interpretations from Negation Improves Natural Language Understanding [10.440501875161003]
否定は多くの自然言語理解タスクにおいて課題となる。 3つの自然言語理解タスクに対して,このようなメリットモデルを行うことが示される。我々は,否定文を付与したプラグアンドプレイ型ニューラルジェネレータを構築し,肯定的な解釈を生成する。
論文参考訳（メタデータ） (2022-10-26T05:22:27Z)
ArabGlossBERT: Fine-Tuning BERT on Context-Gloss Pairs for WSD [0.0]
本稿では,アラビア語単語センス曖昧化(WSD)のためのBERTモデルについて述べる。ラベル付きアラビア・コンテクスト・グロス・ペアのデータセットを構築した。各ペアはTrueまたはFalseとラベル付けされ、各コンテキストのターゲット語が識別され、注釈が付けられた。
論文参考訳（メタデータ） (2022-05-19T16:47:18Z)
The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。入力と論理的に整合した説明は、通常より正確な予測を示す。本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
論文参考訳（メタデータ） (2022-05-06T17:57:58Z)
RelationPrompt: Leveraging Prompts to Generate Synthetic Data for Zero-Shot Relation Triplet Extraction [65.4337085607711]
ゼロショット関係トリプルト抽出(ZeroRTE)のタスク設定について紹介する。入力文が与えられた後、抽出された各三重項は、トレーニング段階で関係ラベルが見えないヘッドエンティティ、リレーションラベル、テールエンティティから構成される。本稿では、言語モデルに構造化テキストを生成するよう促すことで、関係例を合成する。
論文参考訳（メタデータ） (2022-03-17T05:55:14Z)
On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
論文参考訳（メタデータ） (2020-11-02T13:14:57Z)
Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。我々は,構文的 LM から単語の周辺分布を抽出する。本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
論文参考訳（メタデータ） (2020-05-27T16:44:01Z)
NILE : Natural Language Inference with Faithful Natural Language Explanations [10.074153632701952]
ラベル特定説明(NILE)に対する自然言語推論を提案する。 NILEは、ラベル固有の説明を自動生成し、その忠実な説明とともにラベルを作成する新しいNLI手法である。我々は, NILE の説明の忠実さを, 対応する説明に対する決定の敏感さの観点から論じる。
論文参考訳（メタデータ） (2020-05-25T13:56:03Z)
Incorporating BERT into Neural Machine Translation [251.54280200353674]
本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
論文参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。