論文の概要: SVD-Based Typicality Maps for Out-of-Distribution Detection in Vision Transformers

• arxiv url: http://arxiv.org/abs/2608.23499v1
• Date: Mon, 24 Aug 2026 17:03:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.212521
• Title: SVD-Based Typicality Maps for Out-of-Distribution Detection in Vision Transformers
• Title（参考訳）: SVD-based typicality map for Out-of-Distribution Detection in Vision Transformers (特集:情報ネットワーク)
• Abstract要約: 学習パラメータの幾何を利用した視覚変換器(ViT)の内部表現を解析する手法を提案する。 その後、各層にクラス条件密度モデルが取り付けられ、クラスごとの特異度スコアが生成される。 CIFAR-100で微調整されたViT-B/16では、再トレーニングやOOD露光を伴わずに競合検出性能が得られた。
• 参考スコア（独自算出の注目度）: 1.703542580348769
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a method for analyzing the internal representations of Vision Transformers (ViTs) exploiting the geometry of their learned parameters. Each affine layer's weight matrix is factored via Singular Value Decomposition (SVD), and activations are projected onto the leading right singular vectors to obtain compact, layer-intrinsic representations. A class-conditional density model is then fitted at each layer, producing per-class \emph{typicality scores} that are stacked across depth into \emph{typicality maps}: two-dimensional summaries of how class-specific evidence evolves through the network. From these maps, we derive two post-hoc scores for Out-Of-Distribution (OOD) detection: a \emph{Prototype Alignment Score} (PAS), measuring agreement with class reference prototype patterns, and a \emph{Multi-Layer Soft Voting} (MLSV) score, capturing cross-layer consensus without stored prototypes. On ViT-B/16 fine-tuned on CIFAR-100, the proposed scores achieve competitive detection performance without retraining or OOD exposure.
• Abstract（参考訳）: 学習パラメータの幾何を利用した視覚変換器(ViT)の内部表現を解析する手法を提案する。 各アフィン層の重み行列は特異値分解(SVD)によって分解され、活性化は先頭の右特異ベクトルに投影され、コンパクトで層固有の表現が得られる。 その後、各層にクラス条件密度モデルが取り付けられ、クラスごとの「emph{typeality scores」が生成され、ネットワークを通してクラス固有のエビデンスがどのように進化するかの2次元の要約である「emph{typeality map}」に積み重ねられる。 これらのマップから,Of-Distribution (OOD) 検出のための2つのポストホックスコアを導出する: a \emph{Prototype Alignment Score} (PAS) , クラス参照プロトタイプパターンとの一致の測定, および \emph{Multi-Layer Soft Voting} (MLSV) スコアを抽出し, 格納されたプロトタイプなしで層間コンセンサスをキャプチャする。 CIFAR-100で微調整されたViT-B/16では、再トレーニングやOOD露光を伴わずに競合検出性能が得られた。

関連論文リスト

• BrepGPT: Autoregressive B-rep Generation with Voronoi Half-Patch [61.20046418942948]
  境界表現(B-rep)はCADモデル表現のデファクトスタンダードである。 本稿では,B-rep生成のためのシングルステージ自動回帰フレームワークBrepGPTを提案する。
  論文  参考訳（メタデータ） (2025-11-27T07:16:53Z)
• Tracing Representation Progression: Analyzing and Enhancing Layer-Wise Similarity [20.17288970927518]
  本研究では,各変圧器の隠蔽層間の表現の類似性について検討する。 層間の表現が正の相関を示し、層が近づくと類似度が増加する。 浅い層の有効性を向上させるためのアライメント・トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T16:41:09Z)
• LRP-QViT: Mixed-Precision Vision Transformer Quantization via Layer-wise Relevance Propagation [0.0]
  LRP-QViTは、異なる層に混合精度のビット割り当てを割り当てる説明可能性に基づく手法である。 実験結果から,固定ビット・混合ビット後量子化法が既存の4ビット・6ビット量子化法を超越していることが判明した。
  論文  参考訳（メタデータ） (2024-01-20T14:53:19Z)
• With a Little Help from your own Past: Prototypical Memory Networks for Image Captioning [47.96387857237473]
  我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。 私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。 本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
  論文  参考訳（メタデータ） (2023-08-23T18:53:00Z)
• ViT-Calibrator: Decision Stream Calibration for Vision Transformer [49.60474757318486]
  本稿では、一般的な視覚変換器の性能を高めるための、決定ストリームと呼ばれる新しいパラダイムを提案する。 異なるトークンと複数の次元の関連係数の相関関係を探索し,学習過程における情報伝達機構について光を当てた。
  論文  参考訳（メタデータ） (2023-04-10T02:40:24Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• ContraFeat: Contrasting Deep Features for Semantic Discovery [102.4163768995288]
  StyleGANは、アンタングル化セマンティックコントロールの強い可能性を示している。 StyleGANの既存の意味発見手法は、修正された潜在層を手作業で選択することで、良好な操作結果が得られる。 本稿では,このプロセスを自動化し,最先端のセマンティック発見性能を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2022-12-14T15:22:13Z)
• Generalizing Adversarial Explanations with Grad-CAM [7.165984630575092]
  本稿では,Grad-CAMを例ベースの説明からグローバルモデル動作を説明する方法まで拡張する手法を提案する。 実験では,VGG16,ResNet50,ResNet101などの深層モデルと,InceptionNetv3やXceptionNetのような広層モデルに対する敵攻撃について検討した。 提案手法は、画像解析のためのブラックボックスCNNモデルの振る舞いを解析し、敵攻撃を理解するために利用できる。
  論文  参考訳（メタデータ） (2022-04-11T22:09:21Z)
• Hybrid Routing Transformer for Zero-Shot Learning [83.64532548391]
  本稿ではハイブリッド・ルーティング・トランス (HRT) と呼ばれる新しいトランス・デコーダモデルを提案する。 ボトムアップとトップダウンの動的ルーティング経路の両方で構築されたアクティブアテンションを組み込んで,属性に整合した視覚的特徴を生成する。 HRTデコーダでは,属性対応の視覚特徴,対応する属性セマンティクス,およびクラス属性ベクトル間の相関関係を静的なルーティングで計算し,最終クラスラベルの予測を生成する。
  論文  参考訳（メタデータ） (2022-03-29T07:55:08Z)
• ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond [76.35955924137986]
  我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
  論文  参考訳（メタデータ） (2022-02-21T10:40:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。