論文の概要: Investigating the Effect of Natural Language Explanations on Out-of-Distribution Generalization in Few-shot NLI

• arxiv url: http://arxiv.org/abs/2110.06223v1
• Date: Tue, 12 Oct 2021 18:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 10:30:10.074273
• Title: Investigating the Effect of Natural Language Explanations on Out-of-Distribution Generalization in Few-shot NLI
• Title（参考訳）: ファウショットNLIのアウト・オブ・ディストリビューション一般化における自然言語説明の効果の検討
• Authors: Yangqiaoyu Zhou, Chenhao Tan
• Abstract要約: 数ショットの学習設定を定式化し、自然言語の説明がOOD一般化に与える影響について検討する。 HANSデータセットのテンプレートを活用し、テンプレート毎にテンプレート化された自然言語説明を構築します。 生成した説明は、基礎的説明と競合するBLEUスコアを示すが、予測性能は向上しないことを示す。
• 参考スコア（独自算出の注目度）: 11.44224857047629
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although neural models have shown strong performance in datasets such as SNLI, they lack the ability to generalize out-of-distribution (OOD). In this work, we formulate a few-shot learning setup and examine the effects of natural language explanations on OOD generalization. We leverage the templates in the HANS dataset and construct templated natural language explanations for each template. Although generated explanations show competitive BLEU scores against groundtruth explanations, they fail to improve prediction performance. We further show that generated explanations often hallucinate information and miss key elements that indicate the label.
• Abstract（参考訳）: SNLIのようなデータセットでは、ニューラルモデルは強力なパフォーマンスを示しているが、アウト・オブ・ディストリビューション(OOD)を一般化する能力は欠如している。 そこで本研究では,OODの一般化に対する自然言語説明の効果について,数発の学習設定を定式化して検討する。 テンプレートをhansデータセットで活用し,テンプレート毎にテンプレート化された自然言語説明を構築する。 生成された説明は、基礎的な説明と競合するbleuスコアを示すが、予測性能は向上しない。 さらに,生成した説明はラベルを示す情報やミスキー要素をしばしば暗示することを示した。

関連論文リスト

• Properties and Challenges of LLM-Generated Explanations [3.257973235065581]
  大規模言語モデル(LLM)の自己分類能力について検討する。 生成した説明は選択性を示し、説明的要素を含むが、主観的あるいは誤解を招くことは少ない。 特に,自己分析システムの目標やユーザグループに応じて,肯定的,否定的な意味を概説する。
  論文  参考訳（メタデータ） (2024-02-16T09:37:54Z)
• FLamE: Few-shot Learning from Natural Language Explanations [12.496665033682202]
  本稿では,自然言語の説明から学習するフレームワークFLamEを紹介する。 自然言語推論の実験は、強いベースラインに対する効果を示す。 人間の評価は、生成した説明の大多数が適切に分類決定を正当化していないことを驚くほど明らかにしている。
  論文  参考訳（メタデータ） (2023-06-13T18:01:46Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• FOLIO: Natural Language Reasoning with First-Order Logic [147.50480350846726]
  我々は、自然言語(NL)における推論のための人間注釈付き、論理的に複雑で多様なデータセットであるFOLIOを提示する。 FOLIOは1,430の例(一意の結論)で構成され、それぞれが487の前提のうちの1つと組み合わせて、それぞれの結論の妥当性を導出的に推論する。 NL推論とNL-FOL変換の両方において、複数の最先端言語モデルをベンチマークする。
  論文  参考訳（メタデータ） (2022-09-02T06:50:11Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Towards Interpretable Natural Language Understanding with Explanations as Latent Variables [146.83882632854485]
  そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。 我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
  論文  参考訳（メタデータ） (2020-10-24T02:05:56Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)
• NILE : Natural Language Inference with Faithful Natural Language Explanations [10.074153632701952]
  ラベル特定説明(NILE)に対する自然言語推論を提案する。 NILEは、ラベル固有の説明を自動生成し、その忠実な説明とともにラベルを作成する新しいNLI手法である。 我々は, NILE の説明の忠実さを, 対応する説明に対する決定の敏感さの観点から論じる。
  論文  参考訳（メタデータ） (2020-05-25T13:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。