論文の概要: Mechanistic Interpretability of Fine-Tuned Vision Transformers on Distorted Images: Decoding Attention Head Behavior for Transparent and Trustworthy AI

• arxiv url: http://arxiv.org/abs/2503.18762v1
• Date: Mon, 24 Mar 2025 15:11:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:38:05.850053
• Title: Mechanistic Interpretability of Fine-Tuned Vision Transformers on Distorted Images: Decoding Attention Head Behavior for Transparent and Trustworthy AI
• Title（参考訳）: 歪み画像における微調整型視覚変換器の機械的解釈可能性:透明で信頼性の高いAIにおける意図的頭部動作の復号化
• Authors: Nooshin Bahador,
• Abstract要約: 機械的解釈可能性により、大きなAIモデルの安全性、信頼性、堅牢性が向上する。 本研究では、歪みした2次元分光画像に微調整された視覚変換器(ViT)の個々の注意ヘッドについて検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Mechanistic interpretability improves the safety, reliability, and robustness of large AI models. This study examined individual attention heads in vision transformers (ViTs) fine tuned on distorted 2D spectrogram images containing non relevant content (axis labels, titles, color bars). By introducing extraneous features, the study analyzed how transformer components processed unrelated information, using mechanistic interpretability to debug issues and reveal insights into transformer architectures. Attention maps assessed head contributions across layers. Heads in early layers (1 to 3) showed minimal task impact with ablation increased MSE loss slightly ({\mu}=0.11%, {\sigma}=0.09%), indicating focus on less critical low level features. In contrast, deeper heads (e.g., layer 6) caused a threefold higher loss increase ({\mu}=0.34%, {\sigma}=0.02%), demonstrating greater task importance. Intermediate layers (6 to 11) exhibited monosemantic behavior, attending exclusively to chirp regions. Some early heads (1 to 4) were monosemantic but non task relevant (e.g. text detectors, edge or corner detectors). Attention maps distinguished monosemantic heads (precise chirp localization) from polysemantic heads (multiple irrelevant regions). These findings revealed functional specialization in ViTs, showing how heads processed relevant vs. extraneous information. By decomposing transformers into interpretable components, this work enhanced model understanding, identified vulnerabilities, and advanced safer, more transparent AI.
• Abstract（参考訳）: 機械的解釈可能性により、大きなAIモデルの安全性、信頼性、堅牢性が向上する。 本研究では、非関連コンテンツ(軸ラベル、タイトル、カラーバー)を含む歪んだ2次元分光画像に微調整された視覚変換器(ViT)の個々の注意ヘッドについて検討した。 この研究では、トランスフォーマーコンポーネントが非関連情報をどのように処理したかを分析し、メカニスティックな解釈可能性を使って問題をデバッグし、トランスフォーマーアーキテクチャへの洞察を明らかにする。 注意マップはレイヤ間のヘッドコントリビューションを評価した。 初期層(1～3層)の頭部は, MSE損失がわずかに増加した({\mu}=0.11%, {\sigma}=0.09%)。 対照的に、深い頭(eg, layer 6)は3倍の損失増加({\mu}=0.34%, {\sigma}=0.02%)を引き起こし、タスクの重要性が増した。 中間層(6～11層)は単意味的挙動を示し, チャープ領域にのみ関与していた。 初期の頭部(例えば、テキスト検出器、エッジ検出器、コーナー検出器など)は単行性であったが、非タスクに関係していた。 アテンションマップは多面体頭部(複数の非関連領域)から単節体頭部(精密チャープ局在)を区別した。 以上の結果より,ViTでは機能的特殊化がみられ,頭部が関連情報と外部情報をどのように処理したかが示された。 トランスフォーマーを解釈可能なコンポーネントに分解することで、モデル理解、脆弱性の特定、より安全で透明性の高いAIが強化された。

関連論文リスト

• Sharing Key Semantics in Transformer Makes Efficient Image Restoration [148.22790334216117]
  視覚変換器(ViT)の基盤となる自己注意機構は、すべてのグローバルな手がかりを包含する傾向がある。 劣化した画像の小さな部分、特にセマンティックに密に整合した部分では、回復プロセスを支援するために特に関連する情報を提供する。 本稿では, IR(e, SemanIR) 用の Transformer を通じて鍵セマンティクスを共有することで, IR の性能向上を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:45:34Z)
• How Does Attention Work in Vision Transformers? A Visual Analytics Attempt [35.4120442806069]
  視覚変換器(ViT)は、シーケンシャルデータから画像への変換器モデルの成功を拡大する。 シーケンシャルなデータに対するViTの解釈は成功したが、ViTの解釈にはほとんど注力していない。
  論文  参考訳（メタデータ） (2023-03-24T01:02:59Z)
• A Close Look at Spatial Modeling: From Attention to Convolution [70.5571582194057]
  ビジョントランスフォーマーは最近、洞察に富んだアーキテクチャ設計とアテンションメカニズムのために、多くのビジョンタスクに対して大きな約束をしました。 我々は、自己意図の定式化を一般化し、クエリ非関連なグローバルコンテキストを直接抽象化し、グローバルコンテキストを畳み込みに統合する。 FCViT-S12は14M未満のパラメータを持つため、ImageNet-1K上でのResT-Liteの精度は3.7%向上した。
  論文  参考訳（メタデータ） (2022-12-23T19:13:43Z)
• Accumulated Trivial Attention Matters in Vision Transformers on Small Datasets [25.041489334839117]
  我々は、畳み込みニューラルネットワークと比較して、グローバルな注意力の計算が別の不利をもたらすことを示す。 そこで我々は,注意重みを,自明かつ非自明なものに閾値で分割し,その上で,累積トライビタルアテンション(SATA)重みを抑えることを提案する。 本手法は視覚変換器の精度を最大2.3%向上させる。
  論文  参考訳（メタデータ） (2022-10-22T02:34:17Z)
• Unraveling Attention via Convex Duality: Analysis and Interpretations of Vision Transformers [52.468311268601056]
  本稿では凸双対性のレンズを通して注意を解析する。 我々は、大域的最適性に対して解釈可能で解ける等価な有限次元凸問題を導出する。 自己認識ネットワークがトークンを暗黙的にクラスタリングする方法を示す。
  論文  参考訳（メタデータ） (2022-05-17T04:01:15Z)
• Three things everyone should know about Vision Transformers [67.30250766591405]
  トランスフォーマーアーキテクチャは コンピュータビジョンにおいて 急速に勢いを増しています 視覚変換器の変種をシンプルかつ容易に実装できる3つの洞察を提供する。 我々は、ImageNet-1kデータセットを用いて、これらの設計選択の影響を評価し、ImageNet-v2テストセットにおける結果を確認した。
  論文  参考訳（メタデータ） (2022-03-18T08:23:03Z)
• Visualizing and Understanding Patch Interactions in Vision Transformer [96.70401478061076]
  Vision Transformer (ViT) は様々なコンピュータビジョンタスクにおいて主要なツールとなっている。 本稿では,視覚変換器のパッチ間の重要な注意相互作用を分析し,解釈するための,説明可能な新しい可視化手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T13:48:11Z)
• SDTP: Semantic-aware Decoupled Transformer Pyramid for Dense Image Prediction [33.29925021875922]
  階層内セマンティック・プロモーション(ISP)、クロスレベルデカップリング・インタラクション(CDI)、アテンション・リファインメント・ファンクション(ARF)からなる画像予測のための新しいセマンティック・アウェア・デカップリング・トランスフォーマー・ピラミッド(SDTP)を提案する。 ISPは、異なる受容空間における意味的多様性を探求する。CDIは、疎結合空間における異なるレベル間のグローバルな関心と相互作用を構築し、重計算の問題を解決する。 提案手法の有効性と一般性を示す実験結果から,高密度画像予測タスクにおいて,最先端の精度を著しく上回る結果が得られた。
  論文  参考訳（メタデータ） (2021-09-18T16:29:14Z)
• IA-RED$^2$: Interpretability-Aware Redundancy Reduction for Vision Transformers [81.31885548824926]
  自己注意型モデルであるTransformerは近年,コンピュータビジョン分野における主要なバックボーンになりつつある。 解釈可能性を考慮した冗長度低減フレームワーク(IA-RED$2$)を提案する。 画像タスクとビデオタスクの両方で広範囲に実験を行い、最大1.4倍のスピードアップを実現しました。
  論文  参考訳（メタデータ） (2021-06-23T18:29:23Z)
• TransFG: A Transformer Architecture for Fine-grained Recognition [27.76159820385425]
  近年,視覚変換器 (ViT) は従来の分類課題において高い性能を示した。 我々は、トランスの生の注意重みをすべて注意マップに統合する新しいトランスベースのフレームワークTransFGを提案します。 類似サブクラスの特徴表現間の距離をさらに拡大するために、コントラスト損失が適用される。
  論文  参考訳（メタデータ） (2021-03-14T17:03:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。