論文の概要: Manipulating Feature Visualizations with Gradient Slingshots

• arxiv url: http://arxiv.org/abs/2401.06122v1
• Date: Thu, 11 Jan 2024 18:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-01-12 13:11:28.954473
• Title: Manipulating Feature Visualizations with Gradient Slingshots
• Title（参考訳）: グラディエントスリングショットによる特徴可視化の操作
• Authors: Dilyara Bareeva, Marina M.-C. H\"ohne, Alexander Warnecke, Lukas Pirch, Klaus-Robert M\"uller, Konrad Rieck, Kirill Bykov
• Abstract要約: モデルアーキテクチャを変更することなく特徴可視化を操作する新しい手法を提案する。 いくつかのニューラルネットワークモデルにおいて,本手法の有効性を評価し,特定のニューロンの機能を隠す能力を示す。
• 参考スコア（独自算出の注目度）: 46.20447646518049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNNs) are capable of learning complex and versatile representations, however, the semantic nature of the learned concepts remains unknown. A common method used to explain the concepts learned by DNNs is Activation Maximization (AM), which generates a synthetic input signal that maximally activates a particular neuron in the network. In this paper, we investigate the vulnerability of this approach to adversarial model manipulations and introduce a novel method for manipulating feature visualization without altering the model architecture or significantly impacting the model's decision-making process. We evaluate the effectiveness of our method on several neural network models and demonstrate its capabilities to hide the functionality of specific neurons by masking the original explanations of neurons with chosen target explanations during model auditing. As a remedy, we propose a protective measure against such manipulations and provide quantitative evidence which substantiates our findings.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は複雑で汎用的な表現を学習することができるが、学習概念の意味的性質はいまだ不明である。 DNNで学んだ概念を説明するのに使われる一般的な方法は、ネットワーク内の特定のニューロンを最大に活性化する合成入力信号を生成するActivation Maximization (AM)である。 本稿では,本手法の敵対的モデル操作に対する脆弱性を調査し,モデルアーキテクチャを変更したり,モデルの意思決定プロセスに大きな影響を与えることなく,特徴の可視化を行う新しい手法を提案する。 提案手法の有効性をいくつかのニューラルネットワークモデルで評価し,モデル監査中に選択した目的説明でニューロンの本来の説明を隠蔽することにより,特定のニューロンの機能を隠す能力を示す。 治療薬として,このような操作に対する保護措置を提案し,その結果を裏付ける定量的証拠を提供する。

関連論文リスト

• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• FFHFlow: A Flow-based Variational Approach for Learning Diverse Dexterous Grasps with Shape-Aware Introspection [19.308304984645684]
  マルチフィンガーハンドの多様なグリップを生成できる新しいモデルを提案する。 提案手法は, 高いベースラインに対する性能向上と実行時の効率向上を実現する。 また,現実世界の雑多な作業空間や密集した作業空間において,より多様性の高いオブジェクトを把握できることのメリットも示している。
  論文  参考訳（メタデータ） (2024-07-21T13:33:08Z)
• Automatic Discovery of Visual Circuits [66.99553804855931]
  本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。 提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
  論文  参考訳（メタデータ） (2024-04-22T17:00:57Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Automated Natural Language Explanation of Deep Visual Neurons with Large Models [43.178568768100305]
  本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。 我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
  論文  参考訳（メタデータ） (2023-10-16T17:04:51Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Concept backpropagation: An Explainable AI approach for visualising learned concepts in neural network models [0.0]
  本稿では,ある概念を表す情報が与えられたニューラルネットワークモデルにどのように内在化されているかを分析する方法として,Emphconcept backpropagationという概念検出手法の拡張を提案する。
  論文  参考訳（メタデータ） (2023-07-24T08:21:13Z)
• Improving Viewpoint Robustness for Visual Recognition via Adversarial Training [26.824940629150362]
  画像分類器の視点ロバスト性を改善するために,ビューポイント不変適応訓練(VIAT)を提案する。 GMVFool が生成する敵対的視点の多様性に基づいて,VIAT は様々な画像分類器の視点ロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-07-21T12:18:35Z)
• FACADE: A Framework for Adversarial Circuit Anomaly Detection and Evaluation [9.025997629442896]
  FACADEは、ディープニューラルネットワークにおける教師なしの機械的異常検出のために設計されている。 我々のアプローチは、モデルの堅牢性を改善し、スケーラブルなモデル監視を強化し、現実のデプロイメント環境で有望なアプリケーションを実証することを目指している。
  論文  参考訳（メタデータ） (2023-07-20T04:00:37Z)
• Adversarial Attacks on the Interpretation of Neuron Activation Maximization [70.5472799454224]
  アクティベーション最大化アプローチは、訓練されたディープラーニングモデルの解釈と解析に使用される。 本研究では,解釈を欺くためにモデルを操作する敵の概念を考察する。
  論文  参考訳（メタデータ） (2023-06-12T19:54:33Z)
• VISION DIFFMASK: Faithful Interpretation of Vision Transformers with Differentiable Patch Masking [10.345616883018296]
  本稿では、VVISION DIFFMASKと呼ばれるポストホック解釈法を提案する。 モデルの隠れたレイヤのアクティベートを使用して、最終的な予測に寄与する入力の関連部分を予測します。 我々の手法は、予測されたクラス上の分布を保存する元の入力の最小サブセットを特定するためにゲーティング機構を使用する。
  論文  参考訳（メタデータ） (2023-04-13T10:49:26Z)
• Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
  「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。 PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。 具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
  論文  参考訳（メタデータ） (2023-03-21T15:34:50Z)
• On Modifying a Neural Network's Perception [3.42658286826597]
  本研究では,人間の定義した概念に対して,人工ニューラルネットワークが知覚しているものを修正する手法を提案する。 提案手法を異なるモデルで検証し、実行された操作がモデルによって適切に解釈されているかどうかを評価し、それらに対してどのように反応するかを解析する。
  論文  参考訳（メタデータ） (2023-03-05T12:09:37Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Inducing Semantic Grouping of Latent Concepts for Explanations: An Ante-Hoc Approach [18.170504027784183]
  我々は,潜伏状態を利用してモデルの異なる部分を適切に修正することにより,より良い説明が得られ,予測性能が向上することを示した。 また,2つの異なる自己スーパービジョン技術を用いて,考察対象の自己スーパービジョンのタイプに関連する意味ある概念を抽出する手法を提案した。
  論文  参考訳（メタデータ） (2021-08-25T07:09:57Z)
• Ada-SISE: Adaptive Semantic Input Sampling for Efficient Explanation of Convolutional Neural Networks [26.434705114982584]
  畳み込みニューラルネットワークの効率的な解釈手法を提案する。 実験の結果,提案手法は実行時間を最大30%削減できることがわかった。
  論文  参考訳（メタデータ） (2021-02-15T19:10:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。