論文の概要: Debugging and Runtime Analysis of Neural Networks with VLMs (A Case Study)

• arxiv url: http://arxiv.org/abs/2503.17416v1
• Date: Fri, 21 Mar 2025 01:12:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:40:05.171718
• Title: Debugging and Runtime Analysis of Neural Networks with VLMs (A Case Study)
• Title（参考訳）: VLMを用いたニューラルネットワークのデバッグと実行解析(事例研究)
• Authors: Boyue Caroline Hu, Divya Gopinath, Corina S. Pasareanu, Nina Narodytska, Ravi Mangal, Susmit Jha,
• Abstract要約: 視覚モデルにおける故障局所化のための意味的ヒートマップの有用性を示す。 本稿では,実行時の欠陥を検出しフィルタする軽量なランタイム解析を提案する。
• 参考スコア（独自算出の注目度）: 20.420310876464924
• License:
• Abstract: Debugging of Deep Neural Networks (DNNs), particularly vision models, is very challenging due to the complex and opaque decision-making processes in these networks. In this paper, we explore multi-modal Vision-Language Models (VLMs), such as CLIP, to automatically interpret the opaque representation space of vision models using natural language. This in turn, enables a semantic analysis of model behavior using human-understandable concepts, without requiring costly human annotations. Key to our approach is the notion of semantic heatmap, that succinctly captures the statistical properties of DNNs in terms of the concepts discovered with the VLM and that are computed off-line using a held-out data set. We show the utility of semantic heatmaps for fault localization -- an essential step in debugging -- in vision models. Our proposed technique helps localize the fault in the network (encoder vs head) and also highlights the responsible high-level concepts, by leveraging novel differential heatmaps, which summarize the semantic differences between the correct and incorrect behaviour of the analyzed DNN. We further propose a lightweight runtime analysis to detect and filter-out defects at runtime, thus improving the reliability of the analyzed DNNs. The runtime analysis works by measuring and comparing the similarity between the heatmap computed for a new (unseen) input and the heatmaps computed a-priori for correct vs incorrect DNN behavior. We consider two types of defects: misclassifications and vulnerabilities to adversarial attacks. We demonstrate the debugging and runtime analysis on a case study involving a complex ResNet-based classifier trained on the RIVAL10 dataset.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)のデバッグ、特にビジョンモデルは、これらのネットワークの複雑で不透明な意思決定プロセスのため、非常に難しい。 本稿では,CLIPなどのマルチモーダル視覚言語モデル(VLM)を探索し,自然言語を用いて視覚モデルの不透明表現空間を自動的に解釈する。 これにより、コストのかかる人的アノテーションを必要とせずに、人間の理解可能な概念を用いたモデル行動のセマンティック分析が可能になる。 我々のアプローチの鍵となるのはセマンティック・ヒートマップの概念であり、VLMで発見された概念からDNNの統計特性を簡潔に捉え、ホールドアウトデータセットを用いてオフラインで計算するものである。 視覚モデルにおける障害局所化(デバッギングにおける重要なステップ)のセマンティックヒートマップの有用性を示す。 提案手法は,ネットワーク内の障害(エンコーダ対ヘッド)のローカライズを支援するとともに,解析されたDNNの正しい動作と誤動作のセマンティックな違いを要約した,新しい微分熱マップを活用することによって,責任ある高レベル概念を強調する。 さらに、実行時に欠陥を検出しフィルタする軽量なランタイム解析を提案し、解析されたDNNの信頼性を改善した。 実行時解析は、新しい(目に見えない)入力のために計算されたヒートマップと、正しいDNN動作と間違ったDNN動作のために計算されたヒートマップ a-priori の類似度を測定して比較する。 敵攻撃に対する誤分類と脆弱性の2つのタイプの欠陥を考察する。 本稿では、RIVAL10データセットでトレーニングされた複雑なResNetベースの分類器を含むケーススタディにおいて、デバッグと実行時解析を実演する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  本研究では,(マルチモーダル)自己教師型表現学習のデータ予測タスクにおいて,連続領域における識別確率モデルについて検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。 MISが要求する条件付き確率密度の和を近似する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Neural Networks Decoded: Targeted and Robust Analysis of Neural Network Decisions via Causal Explanations and Reasoning [9.947555560412397]
  本稿では、因果推論理論に基づく新しい手法TRACERを紹介し、DNN決定の根底にある因果ダイナミクスを推定する。 提案手法は入力特徴に系統的に介入し,特定の変化がネットワークを介してどのように伝播するかを観察し,内部の活性化と最終的な出力に影響を与える。 TRACERはさらに、モデルバイアスの可能性のある反ファクトを生成することで説明可能性を高め、誤分類に対する対照的な説明を提供する。
  論文  参考訳（メタデータ） (2024-10-07T20:44:53Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Analyzing Local Representations of Self-supervised Vision Transformers [34.56680159632432]
  各種自己監督型視覚変換器(ViT)の比較分析を行った。 大規模言語モデルに触発されて、微調整をほとんど行わずに様々なコンピュータビジョンタスクを実行するViTの能力について検討する。
  論文  参考訳（メタデータ） (2023-12-31T11:38:50Z)
• Comprehensive Analysis of Network Robustness Evaluation Based on Convolutional Neural Networks with Spatial Pyramid Pooling [4.366824280429597]
  複雑なネットワークを理解し、最適化し、修復するための重要な側面である接続性の堅牢性は、伝統的にシミュレーションを通じて評価されてきた。 空間ピラミッドプールネットワーク(SPP-net)を用いた畳み込みニューラルネットワーク(CNN)モデルの設計により,これらの課題に対処する。 提案したCNNモデルは,全ての除去シナリオにおいて,攻撃曲線とロバストネスの両値の正確な評価を一貫して達成していることを示す。
  論文  参考訳（メタデータ） (2023-08-10T09:54:22Z)
• Interpretable Anomaly Detection in Cellular Networks by Learning Concepts in Variational Autoencoders [8.612111588129167]
  本稿では,セルラーネットワーク内の異常を解釈可能な方法で検出する上での課題について述べる。 本稿では,データセット内のキーパフォーマンス指標(KPI)ごとに潜在空間の解釈可能な表現を学習する可変オートエンコーダ(VAE)を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-28T05:50:17Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• i-Algebra: Towards Interactive Interpretability of Deep Neural Networks [41.13047686374529]
  i-Algebraはディープニューラルネットワーク(DNN)を解釈するための対話型フレームワークである。 その中核は原子、構成可能な演算子のライブラリであり、さまざまな入力粒度、異なる推論段階、および異なる解釈の視点からモデル挙動を説明する。 我々は,敵入力の検査,モデル不整合の解消,汚染データのクリーン化など,一連の代表的分析タスクでユーザ研究を行い,その有望なユーザビリティを示す。
  論文  参考訳（メタデータ） (2021-01-22T19:22:57Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。