論文の概要: FLamE: Few-shot Learning from Natural Language Explanations

• arxiv url: http://arxiv.org/abs/2306.08042v1
• Date: Tue, 13 Jun 2023 18:01:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 23:10:27.954496
• Title: FLamE: Few-shot Learning from Natural Language Explanations
• Title（参考訳）: FLamE: 自然言語の説明から学ぶ
• Authors: Yangqiaoyu Zhou, Yiming Zhang, and Chenhao Tan
• Abstract要約: 本稿では,自然言語の説明から学習するフレームワークFLamEを紹介する。 自然言語推論の実験は、強いベースラインに対する効果を示す。 人間の評価は、生成した説明の大多数が適切に分類決定を正当化していないことを驚くほど明らかにしている。
• 参考スコア（独自算出の注目度）: 12.496665033682202
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Natural language explanations have the potential to provide rich information that in principle guides model reasoning. Yet, recent work by Lampinen et al. (2022) has shown limited utility of natural language explanations in improving classification. To effectively learn from explanations, we present FLamE, a two-stage few-shot learning framework that first generates explanations using GPT-3, and then finetunes a smaller model (e.g., RoBERTa) with generated explanations. Our experiments on natural language inference demonstrate effectiveness over strong baselines, increasing accuracy by 17.6% over GPT-3 Babbage and 5.7% over GPT-3 Davinci in e-SNLI. Despite improving classification performance, human evaluation surprisingly reveals that the majority of generated explanations does not adequately justify classification decisions. Additional analyses point to the important role of label-specific cues (e.g., "not know" for the neutral label) in generated explanations.
• Abstract（参考訳）: 自然言語の説明は、原則としてモデル推論を導く豊富な情報を提供する可能性がある。 しかし、lampinen et al. (2022) による最近の研究は、分類を改善するために自然言語の説明が限られていることを示している。 説明から効果的に学ぶために,まずgpt-3を用いて説明を生成し,生成した説明を用いてより小さなモデル(例えばroberta)を微調整する,二段階の少数ショット学習フレームワーク flame を提案する。 本実験は,GPT-3バベッジよりも17.6%,GPT-3Davinciよりも5.7%,強いベースラインよりも有効であることを示す。 分類性能の改善にもかかわらず、人的評価は、生成した説明の大多数が適切に分類決定を正当化していないことを驚くほど明らかにしている。 さらなる分析は、生成された説明においてラベル固有の手がかり(中性ラベルの「知らない」など)の重要な役割を指摘する。

関連論文リスト

• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Can Language Models Explain Their Own Classification Behavior? [1.8177391253202122]
  大規模言語モデル(LLM)は、無数のタスクでうまく機能するが、このパフォーマンスの背後にあるプロセスを説明することは困難である。 本稿では,LLMが内部プロセスの忠実な高レベルな説明を行えるかどうかを考察する。 私たちはデータセットであるArticulateRulesをリリースし、コンテキスト内または微調整によってトレーニングされたLLMの自己説明をテストするために使用します。
  論文  参考訳（メタデータ） (2024-05-13T02:31:08Z)
• Inference to the Best Explanation in Large Language Models [6.037970847418495]
  Inference to the Best Explanation (IBE) に関する哲学的な記述から着想を得た IBE-Eval を提案する。 IBE-Evalは、明示的な論理的特徴と言語的特徴を組み合わせることで、自然言語の説明の妥当性を推定する。 実験の結果、IBE-Evalは77%の精度で最良の説明を特定できることがわかった。
  論文  参考訳（メタデータ） (2024-02-16T15:41:23Z)
• Exploring Automatically Perturbed Natural Language Explanations in Relation Extraction [20.02647320786556]
  帰納的バイアスの低下による劣化した説明は、元の説明に比べ、競争力や優れた性能を達成できることがわかった。 我々の発見は、自然言語の説明の特徴に関する新しい知見をもたらした。
  論文  参考訳（メタデータ） (2023-05-24T19:17:13Z)
• MaNtLE: Model-agnostic Natural Language Explainer [9.43206883360088]
  モデルに依存しない自然言語説明器であるMaNtLEを導入し、複数の分類器の予測を解析する。 MaNtLEは、何千もの合成分類タスクでマルチタスクトレーニングを使用して、忠実な説明を生成する。 シミュレーションユーザスタディでは、平均して、MaNtLEの生成した説明は、LIMEやAnchorsの説明に比べて少なくとも11%忠実であることが示されている。
  論文  参考訳（メタデータ） (2023-05-22T12:58:06Z)
• Zero-Shot Classification by Logical Reasoning on Natural Language Explanations [56.42922904777717]
  我々はCLOREフレームワークを提案する(説明の論理的推論による分類)。 CLOREは、説明を論理構造にパースし、入力のthess構造に沿って明示的に理由付け、分類スコアを生成する。 また、我々のフレームワークは視覚的モダリティのゼロショット分類にまで拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-07T01:05:11Z)
• Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small [68.879023473838]
  間接オブジェクト識別 (IOI) と呼ばれる自然言語タスクにおいて, GPT-2 の小型化が果たす役割について解説する。 我々の知る限り、この調査は言語モデルにおいて「野生」の自然な振る舞いをリバースエンジニアリングする最大のエンドツーエンドの試みである。
  論文  参考訳（メタデータ） (2022-11-01T17:08:44Z)
• Explanations from Large Language Models Make Small Reasoners Better [61.991772773700006]
  提案手法は, 異なる設定において, 微調整ベースラインを連続的に, 著しく向上させることができることを示す。 副次的な利点として、人間の評価は、その予測を正当化するために高品質な説明を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-10-13T04:50:02Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Towards Interpretable Natural Language Understanding with Explanations as Latent Variables [146.83882632854485]
  そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。 我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
  論文  参考訳（メタデータ） (2020-10-24T02:05:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。