論文の概要: Towards Consistent Natural-Language Explanations via
Explanation-Consistency Finetuning
- arxiv url: http://arxiv.org/abs/2401.13986v1
- Date: Thu, 25 Jan 2024 07:04:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 15:35:29.881777
- Title: Towards Consistent Natural-Language Explanations via
Explanation-Consistency Finetuning
- Title(参考訳): 説明-一貫性ファインタニングによる一貫した自然言語説明に向けて
- Authors: Yanda Chen, Chandan Singh, Xiaodong Liu, Simiao Zuo, Bin Yu, He He,
Jianfeng Gao
- Abstract要約: 大規模言語モデル (LLM) はしばしば説得力があり、流動的な説明を生成する。
それらはしばしば異なる入力に関する矛盾した説明を生成する。
本稿では,一貫した自然言語説明を生成するために,説明整合性微調整(EC-finetuning)を提案する。
- 参考スコア(独自算出の注目度): 66.87754065127714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) often generate convincing, fluent explanations.
However, different from humans, they often generate inconsistent explanations
on different inputs. For example, an LLM may generate the explanation "all
birds can fly" when answering the question "Can sparrows fly?" but meanwhile
answer "no" to the related question "Can penguins fly?". Explanations should be
consistent across related examples so that they allow a human to simulate the
LLM's decision process on multiple examples. We propose explanation-consistency
finetuning (EC-finetuning), a method that adapts LLMs to generate more
consistent natural-language explanations on related examples. EC-finetuning
involves finetuning LLMs on synthetic data that is carefully constructed to
contain consistent explanations. Across a variety of question-answering
datasets in various domains, EC-finetuning yields a 10.0% relative explanation
consistency improvement on four finetuning datasets, and generalizes to seven
out-of-distribution datasets not seen during finetuning (+4.5% relative). Code
is available at https://github.com/yandachen/explanation-consistency-finetuning .
- Abstract(参考訳): 大規模言語モデル(llm)はしばしば説得力に富んだ説明を生み出します。
しかし、人間とは違って、異なる入力に関する矛盾した説明をしばしば生み出す。
例えば、LLM は "Can sparrows fly?" という質問に答えるときに "All birds can fly" という説明を生成するが、"Can penguins fly?" という質問には "No" と答える。
説明は、人間が複数の例でLLMの決定過程をシミュレートできるように、関連する例間で一貫性を持たなければならない。
本稿では,LLMを適応させて,より一貫性のある自然言語説明を生成する手法であるEC-finetuningを提案する。
ECファインタニングは、一貫した説明を含むように慎重に構築された合成データにLCMを微調整する。
様々なドメインの様々な質問応答データセットで、ec-finetuningは4つのファインチューニングデータセットで10.0%の相対的説明一貫性の改善をもたらし、ファインチューニング中に見られない7つのアウトオブディストリビューションデータセット(+4.5%相対)に一般化する。
コードはhttps://github.com/yandachen/explanation-consistency-finetuningで入手できる。
関連論文リスト
- Large Language Models As Faithful Explainers [67.38301892818778]
大規模言語モデル(LLM)は近年,その豊富な内部知識と推論能力を活用することで,複雑なタスクに対処する技術に長けている。
我々は、LLMの自然言語形式で提供される説明の忠実性を改善するために、生成的説明フレームワークであるxLLMを導入する。
3つのNLUデータセットで行った実験により、xLLMは生成された説明の忠実性を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - XplainLLM: A QA Explanation Dataset for Understanding LLM
Decision-Making [13.928951741632815]
大規模言語モデル(LLM)は、最近、自然言語理解タスクにおいて顕著な進歩を遂げた。
本稿では、新しい説明データセットを導入することにより、このプロセスに透明性をもたらすことを検討する。
我々のデータセットには12,102のQAEトリプルが含まれている。
論文 参考訳(メタデータ) (2023-11-15T00:34:28Z) - Do Models Explain Themselves? Counterfactual Simulatability of Natural
Language Explanations [62.61495090463084]
大規模言語モデル(LLM)は、人間の決定を説明するために人間を模倣するために訓練されている。
そこで本研究では,人間による多種多様なファクトファクトに対して,モデルの出力を正確に推定できるかどうかを検証した。
LLMの説明は精度が低く、精度は妥当性と相関しないことがわかった。
論文 参考訳(メタデータ) (2023-07-17T17:41:47Z) - Explanation-based Finetuning Makes Models More Robust to Spurious Cues [21.327036110196637]
大きな言語モデル(LLM)は非常に強力で、ラベルとタスクとは無関係な機能の間に相関関係を学習することがある。
本稿では,LLMの素早い相関性への依存を軽減するための一般的なアプローチとして,説明ベースファインタニングを提案する。
我々は、その解答をサポートする自由テキスト説明を新たに生成するように、モデルを微調整する。
論文 参考訳(メタデータ) (2023-05-08T18:53:45Z) - Explanation Selection Using Unlabeled Data for Chain-of-Thought
Prompting [80.9896041501715]
非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。
本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
論文 参考訳(メタデータ) (2023-02-09T18:02:34Z) - ExaRanker: Explanation-Augmented Neural Ranker [67.4894325619275]
本研究は,ニューラルランサーが説明の恩恵を受けることを示す。
我々は、GPT-3.5のようなLCMを用いて、説明付き検索データセットを増強する。
ExaRankerと呼ばれる私たちのモデルは、数千の例で微調整され、合成説明は、説明なしで3倍の例で微調整されたモデルと同等に実行される。
論文 参考訳(メタデータ) (2023-01-25T11:03:04Z) - Learn to Explain: Multimodal Reasoning via Thought Chains for Science
Question Answering [124.16250115608604]
本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。
また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。
我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
論文 参考訳(メタデータ) (2022-09-20T07:04:24Z) - Improving Neural Model Performance through Natural Language Feedback on
Their Explanations [38.96890526935312]
自然言語による人間のフィードバックを得ることで、与えられた推論タスクの説明を洗練するインタラクティブなシステムであるMERCURIEを紹介します。
提案手法は,市販のシステムに比べて40%の矛盾が少ないグラフを生成する。
論文 参考訳(メタデータ) (2021-04-18T08:10:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。