論文の概要: Explaining the Impact of Training on Vision Models via Activation Clustering

• arxiv url: http://arxiv.org/abs/2411.19700v3
• Date: Sun, 23 Mar 2025 17:37:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 16:32:16.324878
• Title: Explaining the Impact of Training on Vision Models via Activation Clustering
• Title（参考訳）: アクティベーションクラスタリングによる視覚モデルに対するトレーニングの影響について
• Authors: Ahcène Boubekki, Samuel G. Fadel, Sebastian Mair,
• Abstract要約: 神経活動型視覚説明法(NAVE)について紹介する。 NAVEは視覚モデルエンコーダの内部表現を抽出し視覚化する手法である。 機能アクティベーションのクラスタ化によって、NAVEは微調整なしで学習したセマンティクスに関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 2.8792218859042453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces Neuro-Activated Vision Explanations (NAVE), a method for extracting and visualizing the internal representations of vision model encoders. By clustering feature activations, NAVE provides insights into learned semantics without fine-tuning. Using object localization, we show that NAVE's concepts align with image semantics. Through extensive experiments, we analyze the impact of training strategies and architectures on encoder representation capabilities. Additionally, we apply NAVE to study training artifacts in vision transformers and reveal how weak training strategies and spurious correlations degrade model performance. Our findings establish NAVE as a valuable tool for post-hoc model inspection and improving transparency in vision models.
• Abstract（参考訳）: 本稿では,視覚モデルエンコーダの内部表現の抽出と可視化を行うNAVE(Neuro-Activated Vision Explanations)を提案する。 機能アクティベーションのクラスタ化によって、NAVEは微調整なしで学習したセマンティクスに関する洞察を提供する。 オブジェクトローカライゼーションを用いて、NAVEの概念と画像意味論が一致することを示す。 広範にわたる実験を通じて、エンコーダ表現能力に対するトレーニング戦略とアーキテクチャの影響を分析した。 さらに、NAVEを用いて視覚変換器のトレーニングアーティファクトを学習し、トレーニング戦略の弱さとモデル性能の急激な相関がいかに劣化するかを明らかにする。 この結果から,NAVEは視覚モデルの検査・透明性向上のツールとして有用であることが判明した。

関連論文リスト

• Sparse Autoencoders for Scientifically Rigorous Interpretation of Vision Models [27.806966289284528]
  本稿では、スパースオートエンコーダ(SAE)を用いて、人間の解釈可能な視覚的特徴を発見する統一的なフレームワークを提案する。 そこで本研究では,SAEがモデル再学習を行なわずに,解釈可能な視覚特徴を確実に識別・操作できることを示す。
  論文  参考訳（メタデータ） (2025-02-10T18:32:41Z)
• ViTOC: Vision Transformer and Object-aware Captioner [0.0]
  ViTOCは画像キャプションのための視覚言語モデルであり、生成された記述の正確さと多様性の課題に対処する。 事前訓練された視覚モデルパラメータを利用することで、ViTOCは効率的なエンドツーエンドトレーニングを実現する。
  論文  参考訳（メタデータ） (2024-11-09T13:13:49Z)
• Enhancing Neural Network Interpretability Through Conductance-Based Information Plane Analysis [0.0]
  インフォメーションプレーン(Information Plane)は、ニューラルネットワーク内の情報の流れを分析するための概念的フレームワークである。 本稿では,入力特徴に対する感度尺度であるレイヤコンダクタンスを用いて情報平面解析を強化する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-26T23:10:42Z)
• Zero-Shot Object-Centric Representation Learning [72.43369950684057]
  ゼロショット一般化のレンズによる現在の対象中心法について検討する。 8つの異なる合成および実世界のデータセットからなるベンチマークを導入する。 多様な実世界の画像のトレーニングにより、見えないシナリオへの転送性が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-17T10:37:07Z)
• Learning Object-Centric Representation via Reverse Hierarchy Guidance [73.05170419085796]
  OCL(Object-Centric Learning)は、ニューラルネットワークが視覚的なシーンで個々のオブジェクトを識別できるようにする。 RHGNetは、トレーニングと推論プロセスにおいて、さまざまな方法で機能するトップダウンパスを導入している。 我々のモデルは、よく使われる複数のデータセット上でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2024-05-17T07:48:27Z)
• Automatic Discovery of Visual Circuits [66.99553804855931]
  本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。 提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
  論文  参考訳（メタデータ） (2024-04-22T17:00:57Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
  本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。 本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。 この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
  論文  参考訳（メタデータ） (2024-01-09T16:16:16Z)
• TVE: Learning Meta-attribution for Transferable Vision Explainer [76.68234965262761]
  本稿では,下流タスクにおける様々な視覚モデルを効果的に説明できるTransferable Vision Explainer(TVE)を提案する。 TVEは,大規模データセットの事前学習プロセスを通じて,メタ属性の学習を実現する。 このメタ属性は、一般的なバックボーンエンコーダの汎用性を利用して、入力インスタンスの属性知識を包括的にエンコードし、TVEがシームレスに転送し、様々な下流タスクを説明することを可能にする。
  論文  参考訳（メタデータ） (2023-12-23T21:49:23Z)
• Visualizing Transferred Knowledge: An Interpretive Model of Unsupervised Domain Adaptation [70.85686267987744]
  教師なしのドメイン適応問題は、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することができる。 本稿では、翻訳された知識の謎を視覚的に明らかにする最初の試みとして、教師なしドメイン適応の解釈モデルを提案する。 提案手法は,ベースモデルの予測を直感的に説明し,画像パッチをソースドメインとターゲットドメインの両方で同一のセマンティクスとマッチングすることで伝達知識を公開する。
  論文  参考訳（メタデータ） (2023-03-04T03:02:12Z)
• A Detailed Study of Interpretability of Deep Neural Network based Top Taggers [3.8541104292281805]
  説明可能なAI(XAI)の最近の進歩により、研究者はディープニューラルネットワーク(DNN)の内部動作を探索できる。 大型ハドロン衝突型加速器(LHC)における高エネルギー陽子-陽子衝突におけるトップクォーク崩壊からのジェットの解釈可能性について検討する。 本研究は,既存のXAI手法の大きな落とし穴を明らかにし,これらのモデルの一貫性と意味のある解釈をいかに克服できるかを説明する。
  論文  参考訳（メタデータ） (2022-10-09T23:02:42Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• Perception Visualization: Seeing Through the Eyes of a DNN [5.9557391359320375]
  我々は、Grad-CAMのような現在の説明方法と本質的に異なる、新しい説明形式を開発する。 知覚可視化は、DNNが入力画像で知覚するものの視覚的表現を提供する。 ユーザスタディの結果から,認識の可視化が可能になった場合,人間がシステムの判断をよりよく理解し,予測できることが示される。
  論文  参考訳（メタデータ） (2022-04-21T07:18:55Z)
• T3-Vis: a visual analytic framework for Training and fine-Tuning Transformers in NLP [0.0]
  本稿では,研究者を支援する視覚分析フレームワークの設計と実装について述べる。 我々のフレームワークは、ユーザーがモデルの異なる面を探索できる直感的な概要を提供する。 これは、モデルコンポーネントと入力シーケンスの異なる部分の重要性を計算する組込みアルゴリズム群を可能にする。
  論文  参考訳（メタデータ） (2021-08-31T02:20:46Z)
• VinVL: Revisiting Visual Representations in Vision-Language Models [96.39332942534368]
  画像のオブジェクト中心表現を提供するための改良されたオブジェクト検出モデルを開発した。 新しい視覚機能は、すべての視覚言語(VL)タスクのパフォーマンスを大幅に改善する。 新しいオブジェクト検出モデルを公開します。
  論文  参考訳（メタデータ） (2021-01-02T23:35:27Z)
• Guided Variational Autoencoder for Disentanglement Learning [79.02010588207416]
  本稿では,潜在表現非絡み合い学習を行うことで,制御可能な生成モデルを学習できるアルゴリズム,Guided-VAEを提案する。 我々は、ガイド-VAEにおける教師なし戦略と教師なし戦略を設計し、バニラVAE上でのモデリングと制御能力の強化を観察する。
  論文  参考訳（メタデータ） (2020-04-02T20:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。