論文の概要: Inverting Transformer-based Vision Models

• arxiv url: http://arxiv.org/abs/2412.06534v3
• Date: Tue, 25 Mar 2025 10:19:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 15:05:42.286551
• Title: Inverting Transformer-based Vision Models
• Title（参考訳）: 変圧器を用いた視覚モデルへの逆変換
• Authors: Jan Rathjens, Shirin Reyhanian, David Kappel, Laurenz Wiskott,
• Abstract要約: 本研究では,検出変換器と視覚変換器の中間層から入力画像を再構成するために,逆モデルのモジュラー手法を適用する。 我々の分析は、これらの特性がモデル内でどのように現れるかを示し、トランスフォーマーベースの視覚モデルに対する深い理解に寄与する。
• 参考スコア（独自算出の注目度）: 0.8124699127636158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the mechanisms underlying deep neural networks in computer vision remains a fundamental challenge. While many previous approaches have focused on visualizing intermediate representations within deep neural networks, particularly convolutional neural networks, these techniques have yet to be thoroughly explored in transformer-based vision models. In this study, we apply a modular approach of training inverse models to reconstruct input images from intermediate layers within a Detection Transformer and a Vision Transformer, showing that this approach is efficient and feasible. Through qualitative and quantitative evaluations of reconstructed images, we generate insights into the underlying mechanisms of these architectures, highlighting their similarities and differences in terms of contextual shape and preservation of image details, inter-layer correlation, and robustness to color perturbations. Our analysis illustrates how these properties emerge within the models, contributing to a deeper understanding of transformer-based vision models. The code for reproducing our experiments is available at github.com/wiskott-lab/inverse-tvm.
• Abstract（参考訳）: コンピュータビジョンにおけるディープニューラルネットワークの基礎となるメカニズムを理解することは、依然として根本的な課題である。 従来の多くのアプローチでは、ディープニューラルネットワーク、特に畳み込みニューラルネットワークにおける中間表現の可視化に重点を置いてきたが、これらのテクニックはトランスフォーマーベースの視覚モデルでは十分に研究されていない。 本研究では,検出変換器と視覚変換器の中間層から入力画像を再構成するために,逆モデルのモジュラー手法を適用し,本手法が効率的かつ実現可能であることを示す。 再構成された画像の質的かつ定量的な評価を通じて、これらのアーキテクチャの基盤となるメカニズムに関する洞察を生成し、それらの類似点と相違点を、画像の文脈的形状と保存、層間相関、色摂動に対する堅牢性の観点から強調する。 我々の分析は、これらの特性がモデル内でどのように現れるかを示し、トランスフォーマーベースの視覚モデルに対する深い理解に寄与する。 実験を再現するためのコードはgithub.com/wiskott-lab/inverse-tvmで公開されている。

関連論文リスト

• Image Segmentation with transformers: An Overview, Challenges and Future [0.0]
  本稿ではCNNベースのモデルの欠点とトランスフォーマーアーキテクチャへの移行について考察する。 本稿では,トランスフォーマーを用いたセグメンテーションにおける現在の課題について論じ,今後の展望を概説する。
  論文  参考訳（メタデータ） (2025-01-16T08:34:39Z)
• Causal Transformer for Fusion and Pose Estimation in Deep Visual Inertial Odometry [1.2289361708127877]
  深部視覚-慣性眼振におけるポーズ推定のための因果的視覚-慣性融合変換器 (VIFT) を提案する。 提案手法はエンドツーエンドのトレーニングが可能であり,単眼カメラとIMUのみを必要とする。
  論文  参考訳（メタデータ） (2024-09-13T12:21:25Z)
• A Review of Transformer-Based Models for Computer Vision Tasks: Capturing Global Context and Spatial Relationships [0.5639904484784127]
  トランスフォーマーモデルによる自然言語処理(NLP)の展望の変化 これらのモデルは、長距離依存やコンテキスト情報をキャプチャする能力で有名である。 コンピュータビジョンにおけるトランスフォーマーモデルの研究の方向性と応用について論じる。
  論文  参考訳（メタデータ） (2024-08-27T16:22:18Z)
• Automatic Discovery of Visual Circuits [66.99553804855931]
  本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。 提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
  論文  参考訳（メタデータ） (2024-04-22T17:00:57Z)
• T-TAME: Trainable Attention Mechanism for Explaining Convolutional Networks and Vision Transformers [9.284740716447342]
  ニューラルネットワークの"ブラックボックス"の性質は、説明責任が不可欠であるアプリケーションにおいて、採用の障壁となる。 本稿では,T-TAME(Transformer- compatible Trainable Attention Mechanism for Explanations)を提案する。 提案されたアーキテクチャとトレーニング技術は、どんな畳み込みやビジョントランスフォーマーのようなニューラルネットワークにも容易に適用できる。
  論文  参考訳（メタデータ） (2024-03-07T14:25:03Z)
• Visual Analytics for Generative Transformer Models [28.251218916955125]
  本稿では,変換器を用いた生成ネットワークの解析を支援するための新しい視覚分析フレームワークを提案する。 我々のフレームワークは、トランスフォーマーベースのエンコーダデコーダモデルの解析をサポートするための最初のフレームワークの1つである。
  論文  参考訳（メタデータ） (2023-11-21T08:15:01Z)
• Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers [5.356051655680145]
  本研究は,従来のトランスフォーマーモデルにおけるアテンション機構の動作を模倣するために,標準の浅層フィードフォワードネットワークを用いることの有効性について分析した。 我々はトランスフォーマーの注意機構の重要な要素を簡単なフィードフォワードネットワークで置き換え、知識蒸留により元のコンポーネントを用いて訓練する。 IWSLT 2017データセットで実施した実験では,これらの“アテンションレストランスフォーマー(attentionless Transformers)”の能力が,オリジナルのアーキテクチャのパフォーマンスに匹敵することを示した。
  論文  参考訳（メタデータ） (2023-11-17T16:58:52Z)
• Blind Image Quality Assessment via Transformer Predicted Error Map and Perceptual Quality Token [19.67014524146261]
  近年,非参照画像品質評価(NR-IQA)が注目されている。 予測された客観的誤差マップと知覚的品質トークンを用いたTransformerベースのNR-IQAモデルを提案する。 提案手法は, 実画像データベースと合成画像データベースの両方において, 現在の最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2023-05-16T11:17:54Z)
• AbHE: All Attention-based Homography Estimation [0.0]
  本研究では,局所的な特徴を持つ畳み込みニューラルネットワークとグローバルな特徴を持つトランスフォーマーモジュールを組み合わせた,Swin Transformerに基づく強力なベースラインモデルを提案する。 ホモグラフィ回帰段階では、相関ボリュームのチャネルに注意層を導入し、いくつかの弱い相関特徴点を排除できる。 実験の結果,8自由度(DOF)ホモグラフィーでは,我々の手法が最先端の手法をオーバーパフォーマンスすることがわかった。
  論文  参考訳（メタデータ） (2022-12-06T15:00:00Z)
• Vision Transformer with Convolutions Architecture Search [72.70461709267497]
  本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。 VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。 これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
  論文  参考訳（メタデータ） (2022-03-20T02:59:51Z)
• Visformer: The Vision-friendly Transformer [105.52122194322592]
  我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。 同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
  論文  参考訳（メタデータ） (2021-04-26T13:13:03Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Transformers in Vision: A Survey [101.07348618962111]
  トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。 変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。 本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2021-01-04T18:57:24Z)
• A Survey on Visual Transformer [126.56860258176324]
  Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。 本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
  論文  参考訳（メタデータ） (2020-12-23T09:37:54Z)
• SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
  本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T08:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。