論文の概要: Comprehensive Information Bottleneck for Unveiling Universal Attribution to Interpret Vision Transformers
- arxiv url: http://arxiv.org/abs/2507.04388v1
- Date: Sun, 06 Jul 2025 13:39:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:35.154394
- Title: Comprehensive Information Bottleneck for Unveiling Universal Attribution to Interpret Vision Transformers
- Title（参考訳）: 解釈型視覚変換器へのユニバーサル属性の展開のための包括的情報基盤
- Authors: Jung-Ho Hong, Ho-Joong Kim, Kyu-Sung Jeon, Seong-Whan Lee,
- Abstract要約: 意思決定プロセスを説明するために,各層で関連する情報を検出する包括的情報ボトルネック(CoIBA)を導入する。
我々の中核となる考え方は、パラメトリック減衰比を共有することで包括的情報を推定するために、複数のターゲット層に情報ボトルネックを適用することである。
本稿では,各層の関連情報を上層境界情報により正確に反映する変動的手法を提案する。
- 参考スコア（独自算出の注目度）: 26.024036282674587
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The feature attribution method reveals the contribution of input variables to the decision-making process to provide an attribution map for explanation. Existing methods grounded on the information bottleneck principle compute information in a specific layer to obtain attributions, compressing the features by injecting noise via a parametric damping ratio. However, the attribution obtained in a specific layer neglects evidence of the decision-making process distributed across layers. In this paper, we introduce a comprehensive information bottleneck (CoIBA), which discovers the relevant information in each targeted layer to explain the decision-making process. Our core idea is applying information bottleneck in multiple targeted layers to estimate the comprehensive information by sharing a parametric damping ratio across the layers. Leveraging this shared ratio complements the over-compressed information to discover the omitted clues of the decision by sharing the relevant information across the targeted layers. We suggest the variational approach to fairly reflect the relevant information of each layer by upper bounding layer-wise information. Therefore, CoIBA guarantees that the discarded activation is unnecessary in every targeted layer to make a decision. The extensive experimental results demonstrate the enhancement in faithfulness of the feature attributions provided by CoIBA.
- Abstract（参考訳）: 特徴帰属法は、入力変数の意思決定過程への寄与を明らかにし、説明のための属性マップを提供する。
情報ボトルネック原理に基づく既存手法では,パラメータ減衰比を用いてノイズを注入することにより特徴を圧縮し,属性を得る。
しかし、特定の層で得られる帰属は、層に分散した意思決定プロセスの証拠を無視する。
本稿では,決定過程を説明するために,各層で関連する情報を検出する包括的情報ボトルネック(CoIBA)を提案する。
私たちの中核となる考え方は、複数のターゲット層に情報ボトルネックを適用して、レイヤ間でパラメトリック減衰比を共有することで、包括的な情報を推定することです。
この共有比率を活用することで、過度に圧縮された情報を補完し、対象のレイヤ間で関連情報を共有することで、決定の省略された手がかりを発見する。
本稿では,各層の関連情報を上層境界情報により正確に反映する変動的手法を提案する。
したがって、CoIBAは、破棄されたアクティベーションがすべての対象層で不要であることを保証し、決定する。
広範な実験結果から,CoIBAによる特徴属性の忠実性の向上が示された。
関連論文リスト
- Harmonizing knowledge Transfer in Neural Network with Unified Distillation [20.922545937770085]
知識蒸留(KD)は、アーキテクチャを変更することなく、面倒なネットワーク(教師)から軽量なネットワーク(学生)に知識を伝達する能力で知られている。
本稿では,統一KDフレームワークにおける多様な知識源を活用することによって,新たな視点を紹介する。
論文 参考訳（メタデータ） (2024-09-27T09:09:45Z) - Interpretable Network Visualizations: A Human-in-the-Loop Approach for Post-hoc Explainability of CNN-based Image Classification [5.087579454836169]
State-of-the-art explainability Method は、特定のクラスが特定された場所を示すために、サリエンシマップを生成する。
本稿では,畳み込みニューラルネットワークの機能抽出プロセス全体を説明するポストホック手法を提案する。
また,複数の画像にラベルを集約することで,グローバルな説明を生成する手法を提案する。
論文 参考訳（メタデータ） (2024-05-06T09:21:35Z) - Integrative Feature and Cost Aggregation with Transformers for Dense
Correspondence [63.868905184847954]
現在の最先端はTransformerベースのアプローチで、機能記述子やコストボリュームアグリゲーションに重点を置いている。
本稿では,両形態のアグリゲーションを相互にインターリーブするトランスフォーマーネットワークを提案する。
提案手法が密マッチングタスクに与える影響を評価し,全ての主要なベンチマークで最先端性能を実現する。
論文 参考訳（メタデータ） (2022-09-19T03:33:35Z) - Measuring the Mixing of Contextual Information in the Transformer [0.19116784879310028]
注意ブロック - 複数頭部の注意、残差接続、および層正規化 - を考慮し、トークンとトークンの相互作用を測定するための計量を定義する。
次に,階層的な解釈を集約し,モデル予測のための入力属性スコアを提供する。
実験により,本手法は忠実な説明を提供し,類似のアグリゲーション法より優れていることを示す。
論文 参考訳（メタデータ） (2022-03-08T17:21:27Z) - Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。
この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。
これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
論文 参考訳（メタデータ） (2021-12-27T14:05:41Z) - Reducing Information Bottleneck for Weakly Supervised Semantic
Segmentation [17.979336178991083]
弱教師付きセマンティックセグメンテーションは、クラスラベルからピクセルレベルのローカライゼーションを生成する。
このようなラベルで訓練された分類器は、ターゲットオブジェクトの小さな識別領域に焦点を当てる可能性が高い。
本稿では,最後のアクティベーション関数を除去することで,情報のボトルネックを低減する手法を提案する。
さらに,非識別領域から分類への情報伝達をさらに促進する新たなプーリング手法を提案する。
論文 参考訳（メタデータ） (2021-10-13T06:49:45Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳（メタデータ） (2021-08-11T21:17:02Z) - Prior-Induced Information Alignment for Image Matting [28.90998570043986]
我々は、PIIAMatting(Presideed-induced Information Alignment Matting Network)という新しいネットワークを提案する。
ピクセルワイズ対応マップの区別と層ワイズ特徴マップの相関を効率的にモデル化することができる。
PIIAMattingはAlphamatting.com, composition-1K, Distinctions-646データセットの最先端の画像マッチング手法に対して好意的に機能する。
論文 参考訳（メタデータ） (2021-06-28T07:46:59Z) - Forgetting Outside the Box: Scrubbing Deep Networks of Information
Accessible from Input-Output Observations [143.3053365553897]
本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。
忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。
我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
論文 参考訳（メタデータ） (2020-03-05T23:17:35Z) - Global Context-Aware Progressive Aggregation Network for Salient Object
Detection [117.943116761278]
我々は,低レベルな外観特徴,高レベルな意味特徴,グローバルな文脈特徴を統合化するための新しいネットワークGCPANetを提案する。
提案手法は, 定量的かつ定性的に, 最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-03-02T04:26:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。