論文の概要: Debunking Grad-ECLIP: A Comprehensive Study on Its Incorrectness and Fundamental Principles for Model Interpretation

• arxiv url: http://arxiv.org/abs/2605.12952v1
• Date: Wed, 13 May 2026 03:35:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.790082
• Title: Debunking Grad-ECLIP: A Comprehensive Study on Its Incorrectness and Fundamental Principles for Model Interpretation
• Title（参考訳）: Debunking Grad-ECLIP:その誤りとモデル解釈の基本原理に関する総合的研究
• Authors: Yongjin Cui, Xiaohui Fan,
• Abstract要約: Grad-ECLIPはICML 2024で発表され、新しいトランスフォーマー解釈技術ルート(中間機能ベース)を表現している。 本稿では,中間機能に基づく技術経路が新しいものではないことを示す。 我々は、モデル解釈が類似の誤りを避けるために従うべき2つの基本原則を明示的に強調する。
• 参考スコア（独自算出の注目度）: 2.1760536522571807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grad-ECLIP is published at ICML 2024 and represents a new Transformer interpretation technical route (intermediate features-based). First, this paper demonstrates that the intermediate features-based technical route is not a novel one. Based on the existing attention-based route, we have developed Attention-ECLIP, which is completely equivalent to Grad-ECLIP but with simpler computation. Both through formal derivation and experimental validation, we prove that the intermediate feature-based route represented by Grad-ECLIP is actually an equivalent variant of the attention-based route. Next, this paper demonstrates that the Grad-ECLIP method is flawed. The model interpretation results obtained by Grad-ECLIP are not those of the original model, and the interpretation results are misaligned with the model's performance. We analyze the causes of Grad-ECLIP's flaws and propose, or rather, explicitly emphasize two fundamental principles that model interpretation should adhere to in order to avoid similar errors.
• Abstract（参考訳）: Grad-ECLIPはICML 2024で発表され、新しいトランスフォーマー解釈技術ルート(中間機能ベース)を表している。 まず,中間機能に基づく技術経路が新しいものではないことを示す。 既存の注意に基づく経路に基づいて,Grad-ECLIPと完全に等価であるが,より単純な計算を行うAttention-ECLIPを開発した。 形式的導出と実験的検証により,Grad-ECLIPで表される中間的特徴に基づく経路が,実際に注目に基づく経路の等価な変種であることを証明した。 次に,Grad-ECLIP法が欠陥であることを示す。 Grad-ECLIPによって得られたモデル解釈結果は、元のモデルではない。 我々はGrad-ECLIPの欠陥の原因を分析し、それどころか、モデル解釈が類似のエラーを避けるために従うべきという2つの基本原則を明示的に強調する。

関連論文リスト

• On Multi-Step Theorem Prediction via Non-Parametric Structural Priors [50.16583672681106]
  本研究では,インコンテキスト学習(ICL)のレンズによる学習自由な定理予測について検討する。 本稿では,過去の解の時間的依存関係を有向グラフとしてエンコードし,推論中に探索空間を効果的に引き起こす明示的なトポロジ的制約を課すTheorem Precedence Graphsを提案する。 FormalGeo7kベンチマークの実験から,本手法は89.29%の精度を実現し,ICLベースラインを著しく上回り,最先端の教師付きモデルに適合することがわかった。
  論文  参考訳（メタデータ） (2026-03-05T06:08:50Z)
• In-Context Learning for Gradient-Free Receiver Adaptation: Principles, Applications, and Theory [54.92893355284945]
  ディープラーニングベースの無線受信機は、様々なチャネル環境に動的に適応する能力を提供する。 ジョイントトレーニング、ハイパーネットワークベースの手法、メタラーニングを含む現在の適応戦略は、限られた柔軟性を示すか、勾配降下による明示的な最適化を必要とする。 本稿では、インコンテキスト学習(ICL)の新たなパラダイムに根ざした勾配なし適応手法を提案する。
  論文  参考訳（メタデータ） (2025-06-18T06:43:55Z)
• Self-Supervised Contrastive Learning is Approximately Supervised Contrastive Learning [48.11265601808718]
  標準的な自己指導型コントラスト学習目標が暗黙的に教師付き変種を近似することを示し,我々は負のみ教師付きコントラスト学習損失(NSCL)と呼ぶ。 ラベルに依存しない,アーキテクチャに依存しない境界の下で,意味クラスの数が増えるにつれて,CLとNSCLの損失のギャップが消滅することを証明する。
  論文  参考訳（メタデータ） (2025-06-04T19:43:36Z)
• Exact Conversion of In-Context Learning to Model Weights in Linearized-Attention Transformers [30.145669421100965]
  In-Context Learningは、大きな言語モデルの強力な創発的特性である。 線形化変圧器ネットワークでは, バイアス項を含めることで, ICLを明示的かつ永続的にすることができることを示す。 我々のアルゴリズム(ICLCA)は、正確な変換を安価に行うことができる。
  論文  参考訳（メタデータ） (2024-06-05T01:47:40Z)
• In-context Learning and Gradient Descent Revisited [3.085927389171139]
  トレーニングされていないモデルでさえ、ICLを提示していないにもかかわらず、同等のICL-GD類似度スコアが得られることを示す。 次に、ICLとGDのモデル全体にわたる情報の流れにおける大きな相違について検討し、これをレイヤ因果性(Layer Causality)と呼ぶ。 本稿では,階層因果関係を尊重する単純なGDに基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-13T21:42:38Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• Why Can GPT Learn In-Context? Language Models Implicitly Perform Gradient Descent as Meta-Optimizers [93.9369467909176]
  メタ最適化として言語モデルを説明し、文脈内学習を暗黙の微調整として理解する。 テキスト内学習は、複数の視点からの明示的な微調整と同様の振る舞いを示す。 バニラに対するパフォーマンスの向上は、別の観点からの理解をさらに後押しします。
  論文  参考訳（メタデータ） (2022-12-20T18:58:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。