論文の概要: FADE: Why Bad Descriptions Happen to Good Features

• arxiv url: http://arxiv.org/abs/2502.16994v1
• Date: Mon, 24 Feb 2025 09:28:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:26.473853
• Title: FADE: Why Bad Descriptions Happen to Good Features
• Title（参考訳）: FADE: 良い機能に悪い説明がなぜ起こるのか
• Authors: Bruno Puri, Aakriti Jain, Elena Golimblevskaia, Patrick Kahardipraja, Thomas Wiegand, Wojciech Samek, Sebastian Lapuschkin,
• Abstract要約: FADE: 特徴アライメントを記述評価に導入する。 FADEは機能記述アライメントを評価するためのスケーラブルなフレームワークである。 既存のオープンソース機能記述を分析し、自動解釈可能性パイプラインの重要なコンポーネントを評価するためにFADEを適用した。
• 参考スコア（独自算出の注目度）: 14.00042287629001
• License:
• Abstract: Recent advances in mechanistic interpretability have highlighted the potential of automating interpretability pipelines in analyzing the latent representations within LLMs. While they may enhance our understanding of internal mechanisms, the field lacks standardized evaluation methods for assessing the validity of discovered features. We attempt to bridge this gap by introducing FADE: Feature Alignment to Description Evaluation, a scalable model-agnostic framework for evaluating feature-description alignment. FADE evaluates alignment across four key metrics - Clarity, Responsiveness, Purity, and Faithfulness - and systematically quantifies the causes for the misalignment of feature and their description. We apply FADE to analyze existing open-source feature descriptions, and assess key components of automated interpretability pipelines, aiming to enhance the quality of descriptions. Our findings highlight fundamental challenges in generating feature descriptions, particularly for SAEs as compared to MLP neurons, providing insights into the limitations and future directions of automated interpretability. We release FADE as an open-source package at: https://github.com/brunibrun/FADE.
• Abstract（参考訳）: 機械的解釈可能性の最近の進歩は、LLM内の潜在表現を分析する際に、解釈可能性パイプラインの自動化の可能性を強調している。 内部メカニズムの理解を深める可能性があるが、検出された特徴の妥当性を評価するための標準化された評価方法が欠如している。 FADE: Feature Alignment to Description Evaluationは、機能記述アライメントを評価するためのスケーラブルなモデルに依存しないフレームワークです。 FADEは、Clarity、Responsiveness、Purity、Fithfulnessの4つの主要なメトリクスのアライメントを評価し、機能の不一致の原因とその説明を体系的に定量化する。 FADEを応用して、既存のオープンソース機能記述を分析し、自動解釈可能性パイプラインの重要なコンポーネントを評価し、記述の質を高めることを目的としている。 本研究は, 機能記述の生成における基本的な課題, 特にMSPニューロンと比較して, 自動解釈能力の限界と今後の方向性について考察した。 https://github.com/brunibrun/FADE。

関連論文リスト

• $\textit{X}^2$-DFD: A framework for e${X}$plainable and e${X}$tendable Deepfake Detection [52.14468236527728]
  3つのコアモジュールからなる新しいフレームワークX2$-DFDを提案する。 最初のモジュールであるモデル特徴評価(MFA)は、MLLMに固有の偽機能の検出能力を計測し、これらの機能の下位ランキングを提供する。 第2のモジュールであるStrong Feature Strengthening (SFS)は、上位機能に基づいて構築されたデータセット上でMLLMを微調整することで、検出と説明機能を強化する。 第3のモジュールであるWak Feature Supplementing (WFS)は、外部専用の機能を統合することで、低階機能における微調整MLLMの機能を改善する。
  論文  参考訳（メタデータ） (2024-10-08T15:28:33Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [70.65910069412944]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• Tuning-Free Accountable Intervention for LLM Deployment -- A Metacognitive Approach [55.613461060997004]
  大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。 我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T19:18:53Z)
• Prospector Heads: Generalized Feature Attribution for Large Models & Data [82.02696069543454]
  本稿では,説明に基づく帰属手法の効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。 入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
  論文  参考訳（メタデータ） (2024-02-18T23:01:28Z)
• Word-Level ASR Quality Estimation for Efficient Corpus Sampling and Post-Editing through Analyzing Attentions of a Reference-Free Metric [5.592917884093537]
  品質推定(QE)メトリクスのポテンシャルは、ASRシステムにおける説明可能な人工知能(XAI)を強化する新しいツールとして導入され、評価される。 NoRefERメトリックの能力は、単語レベルの誤りを識別し、ASR仮説を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-01-20T16:48:55Z)
• Towards Better Visualizing the Decision Basis of Networks via Unfold and Conquer Attribution Guidance [29.016425469068587]
  本稿では,ネットワーク決定の妥当性を高める新しいフレームワークUnfold and Conquer Guidance(UCAG)を提案する。 UCAGは画像のスライスに対する自信に順応し、豊富な明確な解釈をもたらす。 いくつかのメトリクスで性能を検証するために、多数の評価を行います。
  論文  参考訳（メタデータ） (2023-12-21T03:43:19Z)
• LaPLACE: Probabilistic Local Model-Agnostic Causal Explanations [1.0370398945228227]
  本稿では,機械学習モデルに対する確率論的原因・効果説明を提供するLaPLACE-Explainerを紹介する。 LaPLACE-Explainerコンポーネントはマルコフ毛布の概念を利用して、関連する特徴と非関連する特徴の間の統計的境界を確立する。 提案手法は,LIME と SHAP の局所的精度と特徴の整合性の観点から,因果的説明と性能を向上する。
  論文  参考訳（メタデータ） (2023-10-01T04:09:59Z)
• FIND: A Function Description Benchmark for Evaluating Interpretability Methods [86.80718559904854]
  本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。 FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。 本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
  論文  参考訳（メタデータ） (2023-09-07T17:47:26Z)
• AcME -- Accelerated Model-agnostic Explanations: Fast Whitening of the Machine-Learning Black Box [1.7534486934148554]
  解釈可能性のアプローチは、ユーザが待つことなく、実行可能な洞察を提供するべきです。 本稿では,グローバルレベルとローカルレベルの両方で特徴的重要性のスコアを迅速に提供する解釈可能性アプローチである,アクセレーションモデル非依存説明(AcME)を提案する。 AcMEは機能ランキングを計算しますが、機能値の変化がモデル予測にどのように影響するかを評価するために、What-if分析ツールも提供しています。
  論文  参考訳（メタデータ） (2021-12-23T15:18:13Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。