論文の概要: FeatMap: Understanding image manipulation in the feature space and its implications for feature space geometry

• arxiv url: http://arxiv.org/abs/2605.11203v1
• Date: Mon, 11 May 2026 20:12:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.402531
• Title: FeatMap: Understanding image manipulation in the feature space and its implications for feature space geometry
• Title（参考訳）: FeatMap: 特徴空間における画像操作の理解とその特徴空間幾何学への応用
• Authors: Elias B. Krey, Nils Neukirch, Nils Strodthoff,
• Abstract要約: 中間特徴表現は、ディープニューラルネットワークの表現性と適応性のバックボーンを表す。 生成画像編集モデルは入力操作により特徴空間をより深く理解するための扉を開く可能性がある。
• 参考スコア（独自算出の注目度）: 1.6873748786804317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intermediate feature representations represent the backbone for the expressivity and adaptability of deep neural networks. However, their geometric structure remains poorly understood. In this submission, we provide indirect insights into this matter by applying a broad selection of manipulations in input space, ranging from geometric and photometric transformations to local masking and semantic manipulations using generative image editing models, and assess the feasibility of learning a mapping in the feature space, mapping from the original to the manipulated feature map. To this end, we devise different types of mappings, from linear to non-linear and local to global mappings and assess both the reconstruction quality of the mapping as well as the semantic content of the mapped representations. We demonstrate the feasibility of learning such mappings for all considered transformations. While global (transformer) models that operate on the full feature map often achieve best results, we show that the same can be achieved with a shared linear model operating on a single feature vector typically with very little degradation in reconstruction quality, even for highly non-trivial semantic manipulations. We analyze the corresponding mappings across different feature layers and characterize them according to dominance of weight vs. bias and the effective rank of the linear transformations. These results provide hints for the hypothesis that the feature space is to a first degree of approximation organized in linear structures. From a broader perspective, the study demonstrates that generative image editing models might open the door to a deeper understanding of the feature space through input manipulation.
• Abstract（参考訳）: 中間特徴表現は、ディープニューラルネットワークの表現性と適応性のバックボーンを表す。 しかし、その幾何学的構造はあまり理解されていない。 本稿では、画像編集モデルを用いて、幾何学的・測光的変換から局所的なマスキングや意味的操作に至るまで、入力空間における操作の幅広い選択を適用し、特徴空間内のマッピングを学習し、オリジナルから操作された特徴マップにマッピングする可能性を評価することで、この問題に対する間接的な洞察を提供する。 この目的のために、線形、非線形、局所、グローバルマッピングから様々な種類のマッピングを考案し、マッピングの再構築品質と、マッピングされた表現の意味的内容の両方を評価する。 我々は、すべての考慮された変換に対して、そのようなマッピングを学習する可能性を示す。 グローバル(トランスフォーマー)モデルは完全な特徴マップ上で動作し、最良の結果が得られることが多いが、単一の特徴ベクトル上での共有線形モデルでは、非常に非自明なセマンティックな操作であっても、典型的には再構成品質の非常に小さな劣化を伴うことが示される。 異なる特徴層にまたがる対応写像を解析し、重み付けと偏りの優位性と線形変換の有効ランクに応じて特徴付ける。 これらの結果は、特徴空間が線型構造で整理された第一次近似であるという仮説のヒントを与える。 より広い視点から見ると、生成的画像編集モデルは入力操作によって特徴空間をより深く理解するための扉を開く可能性がある。

関連論文リスト

• Through a Steerable Lens: Magnifying Neural Network Interpretability via Phase-Based Extrapolation [26.45789667046442]
  本稿では,ネットワーク勾配を無限小運動の形式として扱うことにより,クラス間の暗黙の経路を可視化する新しいフレームワークを提案する。 合成と実世界の両方のデータセットの実験では、フェーズ中心の補間が知覚的に整合し、意味的に意味のある変換をもたらすことが示されている。
  論文  参考訳（メタデータ） (2025-06-02T22:39:40Z)
• SpaceMesh: A Continuous Representation for Learning Manifold Surface Meshes [61.110517195874074]
  本稿では,ニューラルネットワークの出力として,複雑な接続性を持つ多様体多角形メッシュを直接生成する手法を提案する。 私たちの重要なイノベーションは、各メッシュで連続的な遅延接続空間を定義することです。 アプリケーションでは、このアプローチは生成モデルから高品質な出力を得るだけでなく、メッシュ修復のような挑戦的な幾何処理タスクを直接学習することを可能にする。
  論文  参考訳（メタデータ） (2024-09-30T17:59:03Z)
• Neural Isometries: Taming Transformations for Equivariant ML [8.203292895010748]
  本稿では,観測空間を汎用潜在空間にマップする方法を学習する自動エンコーダフレームワークであるNeural Isometriesを紹介する。 トレーニング済みの潜伏空間で動作する単純なオフ・ザ・シェルフ同変ネットワークは、巧妙に設計された手作りのネットワークと同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:24:25Z)
• Neural Eigenfunctions Are Structured Representation Learners [93.53445940137618]
  本稿ではニューラル固有写像という,構造化された適応長の深部表現を提案する。 本稿では,データ拡張設定における正の関係から固有関数が導出される場合,NeuralEFを適用することで目的関数が得られることを示す。 画像検索システムにおいて,適応長符号のような表現を用いることを実証する。
  論文  参考訳（メタデータ） (2022-10-23T07:17:55Z)
• Entangled Residual Mappings [59.02488598557491]
  残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T19:36:03Z)
• Latent Transformations via NeuralODEs for GAN-based Image Editing [25.272389610447856]
  トレーニング可能なNeural ODEのフローとして実現された非線形潜時符号操作は、多くの実用的な非顔画像領域にとって有益であることを示す。 特に、既知の属性を持つ多数のデータセットを調査し、ある属性操作が線形シフトのみで取得することが困難であることを実証する。
  論文  参考訳（メタデータ） (2021-11-29T18:59:54Z)
• The Geometry of Deep Generative Image Models and its Applications [0.0]
  generative adversarial networks (gans) は、実世界のデータセットの統計パターンをモデル化する強力な教師なし手法として登場した。 これらのネットワークは、潜在空間内のランダムな入力を学習データを表す新しいサンプルにマップするように訓練される。 潜在空間の構造は、その高い寸法性と発電機の非線形性のために内挿しが困難である。
  論文  参考訳（メタデータ） (2021-01-15T07:57:33Z)
• Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
  解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。 本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
  論文  参考訳（メタデータ） (2020-11-24T02:18:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。