論文の概要: Properties and Challenges of LLM-Generated Explanations

• arxiv url: http://arxiv.org/abs/2402.10532v1
• Date: Fri, 16 Feb 2024 09:37:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 16:50:44.705648
• Title: Properties and Challenges of LLM-Generated Explanations
• Title（参考訳）: LLMによる説明の性質と課題
• Authors: Jenny Kunz, Marco Kuhlmann
• Abstract要約: 大規模言語モデル(LLM)の自己分類能力について検討する。 生成した説明は選択性を示し、説明的要素を含むが、主観的あるいは誤解を招くことは少ない。 特に,自己分析システムの目標やユーザグループに応じて,肯定的,否定的な意味を概説する。
• 参考スコア（独自算出の注目度）: 3.257973235065581
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The self-rationalising capabilities of large language models (LLMs) have been explored in restricted settings, using task/specific data sets. However, current LLMs do not (only) rely on specifically annotated data; nonetheless, they frequently explain their outputs. The properties of the generated explanations are influenced by the pre-training corpus and by the target data used for instruction fine-tuning. As the pre-training corpus includes a large amount of human-written explanations "in the wild", we hypothesise that LLMs adopt common properties of human explanations. By analysing the outputs for a multi-domain instruction fine-tuning data set, we find that generated explanations show selectivity and contain illustrative elements, but less frequently are subjective or misleading. We discuss reasons and consequences of the properties' presence or absence. In particular, we outline positive and negative implications depending on the goals and user groups of the self-rationalising system.
• Abstract（参考訳）: 大規模言語モデル(LLM)の自己分類機能は、タスク/特定のデータセットを使用して制限された設定で検討されている。 しかしながら、現在の LLM は特に注釈付きデータに依存していない(ただし、その出力を頻繁に説明している)。 生成した説明の特性は、事前学習コーパスと、命令の微調整に使用されるターゲットデータに影響される。 事前学習コーパスには「野生」の人間による説明が多数含まれており、LLMは人間の説明の共通の性質を取り入れていると仮定する。 マルチドメイン命令微調整データセットの出力を分析することで、生成した説明は選択性を示し、図形要素を含むが、主観的あるいは誤解を招くことは少ないことが分かる。 我々は,その特性の存在と不在の理由と結果について議論する。 特に,自己分析システムの目標やユーザグループに応じて,肯定的,否定的な意味を概説する。

関連論文リスト

• Can adversarial attacks by large language models be attributed? [1.3812010983144802]
  敵の設定における大規模言語モデルからのアウトプットの寄与は、重要度が増大する可能性が高い重要な課題を示す。 正規言語理論,特にゴールドが導入しアングルインが拡張した限界における言語識別を用いて,この帰属問題について検討する。 以上の結果から,特定の言語クラスの識別不可能性から,特定のLLMに出力を確実に属性付けることは理論的には不可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-11-12T18:28:57Z)
• XForecast: Evaluating Natural Language Explanations for Time Series Forecasting [72.57427992446698]
  時系列予測は、特に正確な予測に依存するステークホルダーにとって、意思決定を支援する。 伝統的に説明可能なAI(XAI)メソッドは、機能や時間的重要性を基盤とするものであり、専門家の知識を必要とすることが多い。 時系列データにおける複雑な因果関係のため,予測NLEの評価は困難である。
  論文  参考訳（メタデータ） (2024-10-18T05:16:39Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models [59.970391602080205]
  本研究では,ジェネレーション空間の制約が推論やドメイン知識の理解など,LLMの能力に影響を及ぼすかどうかを検討する。 各種共通タスクにおける自由形式の応答を生成するよりも,構造化形式に順応することが制限された場合のLLMの性能を評価する。 より厳密なフォーマット制約は、一般的に推論タスクのパフォーマンス低下につながる。
  論文  参考訳（メタデータ） (2024-08-05T13:08:24Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Investigating the Effect of Natural Language Explanations on Out-of-Distribution Generalization in Few-shot NLI [11.44224857047629]
  数ショットの学習設定を定式化し、自然言語の説明がOOD一般化に与える影響について検討する。 HANSデータセットのテンプレートを活用し、テンプレート毎にテンプレート化された自然言語説明を構築します。 生成した説明は、基礎的説明と競合するBLEUスコアを示すが、予測性能は向上しないことを示す。
  論文  参考訳（メタデータ） (2021-10-12T18:00:02Z)
• LIREx: Augmenting Language Inference with Relevant Explanation [1.4780878458667916]
  自然言語説明(NLE)は、アノテータがラベルをデータインスタンスに割り当てる際の有理性を識別するデータアノテーションの一種である。 nlesは人間の推論をより良く捉えているが、自然言語推論にはあまり役に立たない。 我々は、論理型説明生成器とインスタンスセレクタの両方を組み込んで、関連するNLEのみを選択する新しいフレームワーク LIREx を提案する。
  論文  参考訳（メタデータ） (2020-12-16T18:49:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。