論文の概要: Explanations that reveal all through the definition of encoding

• arxiv url: http://arxiv.org/abs/2411.02664v2
• Date: Wed, 18 Dec 2024 22:18:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:29:01.730069
• Title: Explanations that reveal all through the definition of encoding
• Title（参考訳）: エンコーディングの定義を通して明らかにする説明
• Authors: Aahlad Puli, Nhi Nguyen, Rajesh Ranganath,
• Abstract要約: 我々は、条件依存によってこの余分な予測力を識別する符号化の定義を開発する。 既存のスコアは、上述のエンコード説明をランク付けしないことを証明し、それらを正しくランク付けするSTRIPE-Xを開発する。
• 参考スコア（独自算出の注目度）: 18.016204264115462
• License:
• Abstract: Feature attributions attempt to highlight what inputs drive predictive power. Good attributions or explanations are thus those that produce inputs that retain this predictive power; accordingly, evaluations of explanations score their quality of prediction. However, evaluations produce scores better than what appears possible from the values in the explanation for a class of explanations, called encoding explanations. Probing for encoding remains a challenge because there is no general characterization of what gives the extra predictive power. We develop a definition of encoding that identifies this extra predictive power via conditional dependence and show that the definition fits existing examples of encoding. This definition implies, in contrast to encoding explanations, that non-encoding explanations contain all the informative inputs used to produce the explanation, giving them a "what you see is what you get" property, which makes them transparent and simple to use. Next, we prove that existing scores (ROAR, FRESH, EVAL-X) do not rank non-encoding explanations above encoding ones, and develop STRIPE-X which ranks them correctly. After empirically demonstrating the theoretical insights, we use STRIPE-X to show that despite prompting an LLM to produce non-encoding explanations for a sentiment analysis task, the LLM-generated explanations encode.
• Abstract（参考訳）: 特徴属性は、入力が予測力を駆動するものを強調しようとする。 良い属性や説明は、この予測力を保持する入力を生成するものである。 しかし、評価は、エンコーディング説明と呼ばれる一連の説明のクラスにおける説明の値から可能な値よりも良いスコアを生成する。 余分な予測力を与えるものに関する一般的な特徴が存在しないため、符号化の証明は依然として課題である。 我々は、条件依存によるこの余分な予測力を特定するエンコーディングの定義を開発し、その定義が既存のエンコーディングの例に適合していることを示す。 この定義は、説明をエンコードするのとは対照的に、非エンコード的な説明には説明を作成するために使われる情報的入力が全て含まれており、それらに「あなたが何を得たか」という特性を与え、透過的で簡単に使えるようにしている。 次に,既存のスコア (ROAR, FRESH, EVAL-X) が上述のエンコード説明をランク付けしないことを証明し,それらを正しくランク付けするSTRIPE-Xを開発する。 理論的知見を実証的に実証した結果,LLMに感情分析タスクの非エンコード説明を提出するよう促したにもかかわらず,LLM生成説明がエンコードされたことを示す。

関連論文リスト

• Evaluating Evidence Attribution in Generated Fact Checking Explanations [48.776087871960584]
  我々は、新しい評価プロトコル、引用マスキングとリカバリを導入する。 我々は,自動アノテータとヒューマンアノテータの両方を用いてプロトコルを実装した。 実験により、最高の性能を持つLSMは、不正確な属性を持つ説明を生成することが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-18T14:13:13Z)
• Do Vision & Language Decoders use Images and Text equally? How Self-consistent are their Explanations? [22.37545779269458]
  視覚と言語モデル(VLM)デコーダは、マルチモーダルタスクにおける最も優れたアーキテクチャである。 回答や説明を生成する際に、入力視覚とテキストのモダリティがどの程度使われているかは明らかになっていない。
  論文  参考訳（メタデータ） (2024-04-29T11:52:20Z)
• Comparing Code Explanations Created by Students and Large Language Models [4.526618922750769]
  コードについて推論し、その目的を説明することは、コンピュータ科学者にとって基本的なスキルである。 可能なすべてのインプットに対してコードがどのように振る舞うかを、高いレベルの抽象化で記述する能力は、コード記述スキルと強く相関する。 既存の教育的なアプローチは、要求に応じてコード説明を作成するなど、コードを説明する能力を足場に置いていますが、現在、大規模な教室ではうまくスケールしていません。
  論文  参考訳（メタデータ） (2023-04-08T06:52:54Z)
• Semi-supervised counterfactual explanations [3.6810543937967912]
  トレーニングデータと同じデータ分布にある反実的説明を生成するという課題に対処する。 この要件は, 自動エンコーダ再構築損失を, 対物探索プロセスに組み込むことによって解決されている。 本稿では,クラスタグ付き入力データを用いた半教師付き方式で自動エンコーダを訓練した場合の対実的説明の解釈性をさらに向上することを示す。
  論文  参考訳（メタデータ） (2023-03-22T15:17:16Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary [68.77983831618685]
  本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。 得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
  論文  参考訳（メタデータ） (2022-12-20T16:03:25Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Visual Abductive Reasoning [85.17040703205608]
  帰納的推論は、部分的な観察の可能な限りの可能な説明を求める。 本稿では,日常的な視覚的状況下でのマシンインテリジェンスの帰納的推論能力を調べるために,新たなタスクとデータセットであるVisual Abductive Reasoning(VAR)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T10:17:03Z)
• Generating Fluent Fact Checking Explanations with Unsupervised Post-Editing [22.5444107755288]
  本稿では,句レベルの編集のみを用いて,支配コメントの教師なし後編集を行う反復編集アルゴリズムを提案する。 本モデルでは, 流動性, 可読性, 非冗長性, 事実チェックのための重要な情報をカバーする説明文を生成する。
  論文  参考訳（メタデータ） (2021-12-13T15:31:07Z)
• Composed Fine-Tuning: Freezing Pre-Trained Denoising Autoencoders for Improved Generalization [93.95299500688286]
  本稿では,出力の妥当性制約を考慮した構造化出力の予測問題に焦点をあてる。 本稿では,事前学習したデノイザを組み込んだ予測器を微調整するファインチューニングを提案する。 2層ReLUネットワークの場合、構成した微調整が予測器の複雑さを著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-06-29T17:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。