論文の概要: LibraGrad: Balancing Gradient Flow for Universally Better Vision Transformer Attributions

• arxiv url: http://arxiv.org/abs/2411.16760v1
• Date: Sun, 24 Nov 2024 15:02:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:33:16.677212
• Title: LibraGrad: Balancing Gradient Flow for Universally Better Vision Transformer Attributions
• Title（参考訳）: LibraGrad: ユニバーサルなビジョントランスフォーマー属性のためのグラディエントフローのバランシング
• Authors: Faridoun Mehri, Mahdieh Soleymani Baghshah, Mohammad Taher Pilehvar,
• Abstract要約: 勾配に基づく説明はトランスフォーマーと競合する。 CNNが自然に持つ帰属勾配の重要な特性であるFullGrad完全性に反するトランスフォーマーのフロー不均衡を同定する。 私たちはLibraGradを紹介します。これは理論的に基礎付けられたポストホックアプローチで、プルーニングと後方経路のスケーリングによって勾配の不均衡を補正します。
• 参考スコア（独自算出の注目度）: 17.88069510398486
• License:
• Abstract: Why do gradient-based explanations struggle with Transformers, and how can we improve them? We identify gradient flow imbalances in Transformers that violate FullGrad-completeness, a critical property for attribution faithfulness that CNNs naturally possess. To address this issue, we introduce LibraGrad -- a theoretically grounded post-hoc approach that corrects gradient imbalances through pruning and scaling of backward paths, without changing the forward pass or adding computational overhead. We evaluate LibraGrad using three metric families: Faithfulness, which quantifies prediction changes under perturbations of the most and least relevant features; Completeness Error, which measures attribution conservation relative to model outputs; and Segmentation AP, which assesses alignment with human perception. Extensive experiments across 8 architectures, 4 model sizes, and 4 datasets show that LibraGrad universally enhances gradient-based methods, outperforming existing white-box methods -- including Transformer-specific approaches -- across all metrics. We demonstrate superior qualitative results through two complementary evaluations: precise text-prompted region highlighting on CLIP models and accurate class discrimination between co-occurring animals on ImageNet-finetuned models -- two settings on which existing methods often struggle. LibraGrad is effective even on the attention-free MLP-Mixer architecture, indicating potential for extension to other modern architectures. Our code is freely available at https://github.com/NightMachinery/LibraGrad.
• Abstract（参考訳）: なぜ勾配に基づく説明がトランスフォーマーと競合するのか、それを改善するにはどうすればよいのか? CNNが自然に持つ帰属的忠実性の重要な性質であるFullGrad完全性に反する変圧器の勾配流不均衡を同定する。 この問題に対処するために、私たちは、前方パスを変更したり、計算オーバーヘッドを追加したりすることなく、後方パスのプルーニングとスケーリングによって勾配の不均衡を補正する理論的に根拠付けられたポストホックアプローチであるLibraGradを紹介します。 我々は,最も関係の少ない特徴の摂動下での予測変化を定量化するFithfulness,モデル出力に対する帰属保存を計測するCompleteness Error,人間の知覚との整合性を評価するSegmentation APの3つの指標群を用いてLibraGradを評価した。 8つのアーキテクチャ、4つのモデルサイズ、4つのデータセットにわたる大規模な実験によると、LibraGradは、すべてのメトリクスにわたって、既存のホワイトボックスメソッド(トランスフォーマー固有のアプローチを含む)よりも優れた、勾配ベースのメソッドを普遍的に強化している。 私たちは、CLIPモデルに重点を置く正確なテキストプロンプト領域と、ImageNetに精細化されたモデル上で共起する動物間の正確なクラス識別という、既存のメソッドがしばしば苦労する2つの設定の2つの相補的な評価を通じて、優れた定性的な結果を示す。 LibraGradは注意のないMLP-Mixerアーキテクチャでも有効であり、他のモダンアーキテクチャへの拡張の可能性を示している。 私たちのコードはhttps://github.com/NightMachinery/LibraGrad.comで無料で利用可能です。

関連論文リスト

• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• PACE: Marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization [35.922096876707975]
  PACE は PArameter- efficient fine-tuning with Consistency rEgularization の一般化である。 拡張一般化のための勾配を暗黙的に正規化するが、知識を保持するために微調整されたモデルや事前訓練されたモデルも暗黙的に整列する。 また、テキスト分類(GLUE)や数学的推論においてLoRAを改善している。
  論文  参考訳（メタデータ） (2024-09-25T17:56:00Z)
• No Train, all Gain: Self-Supervised Gradients Improve Deep Frozen Representations [30.9134119244757]
  FUNGIは、自己教師付き勾配を利用してトランスフォーマーエンコーダの特徴を高める方法である。 事前訓練されたモデルがあれば、まず入力毎に様々な自己教師対象からの勾配を計算します。 得られた特徴は、視覚からの11データセット、自然言語処理からの5データセット、オーディオからの2データセットの k-nearest 隣の分類に基づいて評価される。
  論文  参考訳（メタデータ） (2024-07-15T17:58:42Z)
• Gradient Projection For Continual Parameter-Efficient Tuning [42.800411328615894]
  我々は勾配投影の観点からAdapter, LoRA, Prefix-tuning, Prompt-tuningを再構成する。 大規模モデルであっても,勾配の条件は忘れることに効果的に抵抗できることを示す。 多様なデータセットを用いて,VTやCLIPを含む異なるバックボーンを用いて,本手法を広範囲に評価した。
  論文  参考訳（メタデータ） (2024-05-22T06:33:48Z)
• Class Gradient Projection For Continual Learning [99.105266615448]
  破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。 タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:45:56Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• GradViT: Gradient Inversion of Vision Transformers [83.54779732309653]
  我々は,視力変換器(ViT)の勾配に基づく逆攻撃に対する脆弱性を実証する。 自然に見える画像にランダムノイズを最適化するGradViTという手法を提案する。 元の(隠された)データに対する前例のない高い忠実さと近接性を観察する。
  論文  参考訳（メタデータ） (2022-03-22T17:06:07Z)
• Semi-Supervised Wide-Angle Portraits Correction by Multi-Scale Transformer [17.455782652441187]
  広角画像補正のための半教師付きネットワークを提案する。 我々のネットワークはMulti-Scale Swin-Unet(MS-Unet)と呼ばれ、MSTB(Multi-scale Swin-Unet)上に構築されている。
  論文  参考訳（メタデータ） (2021-09-14T09:40:25Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。