論文の概要: Properties and Challenges of LLM-Generated Explanations
- arxiv url: http://arxiv.org/abs/2402.10532v1
- Date: Fri, 16 Feb 2024 09:37:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 16:50:44.705648
- Title: Properties and Challenges of LLM-Generated Explanations
- Title(参考訳): LLMによる説明の性質と課題
- Authors: Jenny Kunz, Marco Kuhlmann
- Abstract要約: 大規模言語モデル(LLM)の自己分類能力について検討する。
生成した説明は選択性を示し、説明的要素を含むが、主観的あるいは誤解を招くことは少ない。
特に,自己分析システムの目標やユーザグループに応じて,肯定的,否定的な意味を概説する。
- 参考スコア(独自算出の注目度): 3.257973235065581
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The self-rationalising capabilities of large language models (LLMs) have been
explored in restricted settings, using task/specific data sets. However,
current LLMs do not (only) rely on specifically annotated data; nonetheless,
they frequently explain their outputs. The properties of the generated
explanations are influenced by the pre-training corpus and by the target data
used for instruction fine-tuning. As the pre-training corpus includes a large
amount of human-written explanations "in the wild", we hypothesise that LLMs
adopt common properties of human explanations. By analysing the outputs for a
multi-domain instruction fine-tuning data set, we find that generated
explanations show selectivity and contain illustrative elements, but less
frequently are subjective or misleading. We discuss reasons and consequences of
the properties' presence or absence. In particular, we outline positive and
negative implications depending on the goals and user groups of the
self-rationalising system.
- Abstract(参考訳): 大規模言語モデル(LLM)の自己分類機能は、タスク/特定のデータセットを使用して制限された設定で検討されている。
しかしながら、現在の LLM は特に注釈付きデータに依存していない(ただし、その出力を頻繁に説明している)。
生成した説明の特性は、事前学習コーパスと、命令の微調整に使用されるターゲットデータに影響される。
事前学習コーパスには「野生」の人間による説明が多数含まれており、LLMは人間の説明の共通の性質を取り入れていると仮定する。
マルチドメイン命令微調整データセットの出力を分析することで、生成した説明は選択性を示し、図形要素を含むが、主観的あるいは誤解を招くことは少ないことが分かる。
我々は,その特性の存在と不在の理由と結果について議論する。
特に,自己分析システムの目標やユーザグループに応じて,肯定的,否定的な意味を概説する。
関連論文リスト
- Large Language Models As Faithful Explainers [67.38301892818778]
大規模言語モデル(LLM)は近年,その豊富な内部知識と推論能力を活用することで,複雑なタスクに対処する技術に長けている。
我々は、LLMの自然言語形式で提供される説明の忠実性を改善するために、生成的説明フレームワークであるxLLMを導入する。
3つのNLUデータセットで行った実験により、xLLMは生成された説明の忠実性を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - Learning to Generate Explainable Stock Predictions using Self-Reflective
Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。
反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。
我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文 参考訳(メタデータ) (2024-02-06T03:18:58Z) - XplainLLM: A QA Explanation Dataset for Understanding LLM
Decision-Making [13.928951741632815]
大規模言語モデル(LLM)は、最近、自然言語理解タスクにおいて顕著な進歩を遂げた。
本稿では、新しい説明データセットを導入することにより、このプロセスに透明性をもたらすことを検討する。
我々のデータセットには12,102のQAEトリプルが含まれている。
論文 参考訳(メタデータ) (2023-11-15T00:34:28Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Re-Examining Human Annotations for Interpretable NLP [80.81532239566992]
我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。
我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。
以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
論文 参考訳(メタデータ) (2022-04-10T02:27:30Z) - Investigating the Effect of Natural Language Explanations on
Out-of-Distribution Generalization in Few-shot NLI [11.44224857047629]
数ショットの学習設定を定式化し、自然言語の説明がOOD一般化に与える影響について検討する。
HANSデータセットのテンプレートを活用し、テンプレート毎にテンプレート化された自然言語説明を構築します。
生成した説明は、基礎的説明と競合するBLEUスコアを示すが、予測性能は向上しないことを示す。
論文 参考訳(メタデータ) (2021-10-12T18:00:02Z) - LIREx: Augmenting Language Inference with Relevant Explanation [1.4780878458667916]
自然言語説明(NLE)は、アノテータがラベルをデータインスタンスに割り当てる際の有理性を識別するデータアノテーションの一種である。
nlesは人間の推論をより良く捉えているが、自然言語推論にはあまり役に立たない。
我々は、論理型説明生成器とインスタンスセレクタの両方を組み込んで、関連するNLEのみを選択する新しいフレームワーク LIREx を提案する。
論文 参考訳(メタデータ) (2020-12-16T18:49:29Z) - Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial
Explanations of Their Behavior in Natural Language? [86.60613602337246]
我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。
LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。
マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
論文 参考訳(メタデータ) (2020-10-08T16:59:07Z) - Null It Out: Guarding Protected Attributes by Iterative Nullspace
Projection [51.041763676948705]
Iterative Null-space Projection (INLP) は神経表現から情報を取り除く新しい方法である。
提案手法は,単語埋め込みにおけるバイアスを軽減するとともに,複数クラス分類の設定において公平性を高めることができることを示す。
論文 参考訳(メタデータ) (2020-04-16T14:02:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。