論文の概要: Towards Consistent Natural-Language Explanations via Explanation-Consistency Finetuning

• arxiv url: http://arxiv.org/abs/2401.13986v1
• Date: Thu, 25 Jan 2024 07:04:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 15:35:29.881777
• Title: Towards Consistent Natural-Language Explanations via Explanation-Consistency Finetuning
• Title（参考訳）: 説明-一貫性ファインタニングによる一貫した自然言語説明に向けて
• Authors: Yanda Chen, Chandan Singh, Xiaodong Liu, Simiao Zuo, Bin Yu, He He, Jianfeng Gao
• Abstract要約: 大規模言語モデル (LLM) はしばしば説得力があり、流動的な説明を生成する。 それらはしばしば異なる入力に関する矛盾した説明を生成する。 本稿では,一貫した自然言語説明を生成するために,説明整合性微調整(EC-finetuning)を提案する。
• 参考スコア（独自算出の注目度）: 66.87754065127714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) often generate convincing, fluent explanations. However, different from humans, they often generate inconsistent explanations on different inputs. For example, an LLM may generate the explanation "all birds can fly" when answering the question "Can sparrows fly?" but meanwhile answer "no" to the related question "Can penguins fly?". Explanations should be consistent across related examples so that they allow a human to simulate the LLM's decision process on multiple examples. We propose explanation-consistency finetuning (EC-finetuning), a method that adapts LLMs to generate more consistent natural-language explanations on related examples. EC-finetuning involves finetuning LLMs on synthetic data that is carefully constructed to contain consistent explanations. Across a variety of question-answering datasets in various domains, EC-finetuning yields a 10.0% relative explanation consistency improvement on four finetuning datasets, and generalizes to seven out-of-distribution datasets not seen during finetuning (+4.5% relative). Code is available at https://github.com/yandachen/explanation-consistency-finetuning .
• Abstract（参考訳）: 大規模言語モデル(llm)はしばしば説得力に富んだ説明を生み出します。 しかし、人間とは違って、異なる入力に関する矛盾した説明をしばしば生み出す。 例えば、LLM は "Can sparrows fly?" という質問に答えるときに "All birds can fly" という説明を生成するが、"Can penguins fly?" という質問には "No" と答える。 説明は、人間が複数の例でLLMの決定過程をシミュレートできるように、関連する例間で一貫性を持たなければならない。 本稿では,LLMを適応させて,より一貫性のある自然言語説明を生成する手法であるEC-finetuningを提案する。 ECファインタニングは、一貫した説明を含むように慎重に構築された合成データにLCMを微調整する。 様々なドメインの様々な質問応答データセットで、ec-finetuningは4つのファインチューニングデータセットで10.0%の相対的説明一貫性の改善をもたらし、ファインチューニング中に見られない7つのアウトオブディストリビューションデータセット(+4.5%相対)に一般化する。 コードはhttps://github.com/yandachen/explanation-consistency-finetuningで入手できる。

関連論文リスト

• From Distributional to Overton Pluralism: Investigating Large Language Model Alignment [82.99849359892112]
  適応後の応答多様性の低下を以前報告した再検査を行った。 分析の結果,応答の多様性の明らかな低下は,品質管理と情報集約によって大きく説明できることがわかった。 発見は、現在のアライメント技術はキャプチャーされるが、アシスタントライクなベースLLM動作の有用なサブセットを拡張するものではないことを示している。
  論文  参考訳（メタデータ） (2024-06-25T16:32:33Z)
• Can Language Models Explain Their Own Classification Behavior? [1.8177391253202122]
  大規模言語モデル(LLM)は、無数のタスクでうまく機能するが、このパフォーマンスの背後にあるプロセスを説明することは困難である。 本稿では,LLMが内部プロセスの忠実な高レベルな説明を行えるかどうかを考察する。 私たちはデータセットであるArticulateRulesをリリースし、コンテキスト内または微調整によってトレーニングされたLLMの自己説明をテストするために使用します。
  論文  参考訳（メタデータ） (2024-05-13T02:31:08Z)
• FaithLM: Towards Faithful Explanations for Large Language Models [67.29893340289779]
  大きな言語モデル(LLM)は、内部知識と推論能力を活用することで複雑なタスクに対処するのに熟練している。 これらのモデルのブラックボックスの性質は、意思決定プロセスを説明するタスクを複雑にしている。 自然言語 (NL) による LLM の決定を説明するために FaithLM を紹介した。
  論文  参考訳（メタデータ） (2024-02-07T09:09:14Z)
• Do Models Explain Themselves? Counterfactual Simulatability of Natural Language Explanations [62.61495090463084]
  大規模言語モデル(LLM)は、人間の決定を説明するために人間を模倣するために訓練されている。 そこで本研究では,人間による多種多様なファクトファクトに対して,モデルの出力を正確に推定できるかどうかを検証した。 LLMの説明は精度が低く、精度は妥当性と相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-17T17:41:47Z)
• Explanation-based Finetuning Makes Models More Robust to Spurious Cues [21.327036110196637]
  大きな言語モデル(LLM)は非常に強力で、ラベルとタスクとは無関係な機能の間に相関関係を学習することがある。 本稿では,LLMの素早い相関性への依存を軽減するための一般的なアプローチとして,説明ベースファインタニングを提案する。 我々は、その解答をサポートする自由テキスト説明を新たに生成するように、モデルを微調整する。
  論文  参考訳（メタデータ） (2023-05-08T18:53:45Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• ExaRanker: Explanation-Augmented Neural Ranker [67.4894325619275]
  本研究は,ニューラルランサーが説明の恩恵を受けることを示す。 我々は、GPT-3.5のようなLCMを用いて、説明付き検索データセットを増強する。 ExaRankerと呼ばれる私たちのモデルは、数千の例で微調整され、合成説明は、説明なしで3倍の例で微調整されたモデルと同等に実行される。
  論文  参考訳（メタデータ） (2023-01-25T11:03:04Z)
• Improving Neural Model Performance through Natural Language Feedback on Their Explanations [38.96890526935312]
  自然言語による人間のフィードバックを得ることで、与えられた推論タスクの説明を洗練するインタラクティブなシステムであるMERCURIEを紹介します。 提案手法は,市販のシステムに比べて40%の矛盾が少ないグラフを生成する。
  論文  参考訳（メタデータ） (2021-04-18T08:10:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。