論文の概要: SPOOK: Sparse Pixel Optimization for Off-Manifold Knowledge in Vision Encoders

• arxiv url: http://arxiv.org/abs/2610.32835v1
• Date: Fri, 23 Oct 2026 16:09:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.602641
• Title: SPOOK: Sparse Pixel Optimization for Off-Manifold Knowledge in Vision Encoders
• Title（参考訳）: SPOOK:ビジョンエンコーダにおけるオフマンフォールド知識のためのスパースピクセル最適化
• Abstract要約: 空白で視覚的に非意味的な入力に対するスパース編集は、言語と自己制御された視覚表現空間の両方において、ターゲットセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックを入力できることを示す。 そこで本研究では,現代の視覚エンコーダの共通オフマンフォールド故障モードを同定し,表現幾何学の単純なプローブとして空白キャンバス最適化を提案する。
• 参考スコア（独自算出の注目度）: 1.8305931394507986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern vision encoders are widely used as semantic representations, but the relationship between embedding similarity and human-visible semantics can become unclear far from the natural-image manifold. We probe this regime in a black-box setting by applying sparse pixel edits to blank canvases with a simple pixel-level hill-climbing procedure. Across ImageNet and Flickr30k, we evaluate whether these edited blank canvases can retrieve chosen targets in multimodal contrastive encoders and self-supervised visual encoders. On OpenCLIP, inputs optimized toward class prompts achieve strong top-1 and top-5 targeted retrieval performance; on DINOv3, inputs optimized toward class prototypes achieve high target alignment and near-top prototype ranks. These results show that sparse edits on otherwise blank, visually non-semantic inputs can enter target semantic basins in both language-aligned and self-supervised visual representation spaces. Our findings identify a shared off-manifold failure mode of modern vision encoders and suggest sparse blank-canvas optimization as a simple probe of representation geometry.
• Abstract（参考訳）: 現代の視覚エンコーダは意味表現として広く使われているが、埋め込み類似性と人間の視覚的意味論の関係は自然像多様体から遠く離れている。 簡単なピクセルレベルのヒルクライミング手順で空白のキャンバスにスパースピクセル編集を適用することで、ブラックボックス設定でこの仕組みを探索する。 ImageNet と Flickr30k 全体で、これらの編集された空白キャンバスがマルチモーダルコントラストエンコーダと自己監督型ビジュアルエンコーダで選択されたターゲットを検索できるかどうかを評価する。 OpenCLIPでは、クラスプロンプトに最適化された入力は強力なトップ1とトップ5のターゲット検索性能を達成し、DINOv3では、クラスプロトタイプに最適化された入力は高いターゲットアライメントと準トッププロトタイプランクを達成する。 これらの結果は、空白で非意味的な入力に対するスパース編集が、言語と自己制御された視覚表現空間の両方において、ターゲットセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックを入力できることを示唆している。 そこで本研究では,現代の視覚エンコーダの共通オフマンフォールド故障モードを同定し,表現幾何学の単純なプローブとして空白キャンバス最適化を提案する。

関連論文リスト

• Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation [105.49128894436323]
  Intern Lumina U2は、完全に離散的な空間において、マルチコードブックの視覚トークンを表す最初の言語モデルである。 ATokenの統一された4D表現に基づいて構築されたIntern Lumina U2は、単一のバックボーン内での画像、ビデオ、および3D入力をサポートする。 AscendとNVIDIAのプラットフォーム上で、フルスタックのトレーニング、推論、評価システムを構築しています。
  論文  参考訳（メタデータ） (2026-10-14T19:05:12Z)
• FOCUS: Unified Vision-Language Modeling for Interactive Editing Driven by Referential Segmentation [55.01077993490845]
  最近のLVLM(Large Vision Language Models)は、視覚的理解と生成的モデリングを統一する有望な能力を示している。 本稿では,分割認識と制御可能なオブジェクト中心生成をエンドツーエンドフレームワークに統合した統合LVLMであるFOCUSを紹介する。
  論文  参考訳（メタデータ） (2025-06-20T07:46:40Z)
• Kernel-based Unsupervised Embedding Alignment for Enhanced Visual Representation in Vision-language Models [18.02840698188587]
  本稿では,CLIPの視覚表現とDINOv2の表現を一致させるカーネルベースの新しい手法を提案する。 画像のみのアライメント微調整は、ゼロショット物体認識、きめ細かい空間的推論において著しく改善されている。
  論文  参考訳（メタデータ） (2025-06-03T07:44:43Z)
• Top-Down Compression: Revisit Efficient Vision Token Projection for Visual Instruction Tuning [70.57180215148125]
  ビジュアルインストラクションチューニングは、大きな言語モデルで視覚世界を理解できるようにすることを目的としている。 既存の手法は、精度と効率の間の難解なトレードオフに悩まされることが多い。 LLaVA-Meteorは,コア情報を妥協することなく,視覚トークンを戦略的に圧縮する手法である。
  論文  参考訳（メタデータ） (2025-05-17T10:22:29Z)
• Perception Encoder: The best visual embeddings are not at the output of the network [70.86738083862099]
  本稿では、単純な視覚言語学習によって訓練された画像と映像の理解のための視覚エンコーダであるPerception (PE)を紹介する。 対照的な視覚言語学習だけでは、これらの下流タスクに強力な汎用的な埋め込みを実現できることが分かっています。 PEモデル群は,多種多様なタスクにおいて,クラス内で最高の結果が得られる。
  論文  参考訳（メタデータ） (2025-04-17T17:59:57Z)
• FLAVARS: A Multimodal Foundational Language and Vision Alignment Model for Remote Sensing [5.170800801074805]
  コントラスト学習とマスクモデリングを組み合わせた事前学習手法であるFLAVARSを提案する。 FLAVARSは、KNN分類のような視覚のみのタスクにおいて、SkyCLIPのベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2025-01-14T23:31:20Z)
• Subobject-level Image Tokenization [60.80949852899857]
  パッチベースの画像トークン化は、視覚世界の形態を無視する。 サブワードトークン化にヒントを得て,サブオブジェクトレベルの適応トークンセグメンテーションを導入する。 サブオブジェクトのトークン化は、より少ない視覚トークンを使用しながら、より高速な収束とより優れた一般化を可能にすることを示す。
  論文  参考訳（メタデータ） (2024-02-22T06:47:44Z)
• StrokeNUWA: Tokenizing Strokes for Vector Graphic Synthesis [112.25071764647683]
  StrokeNUWAはベクターグラフィックスにおけるより良い視覚表現'ストロークトークン'を探求する先駆的な研究である。 ストロークトークンを備えたStrokeNUWAは、従来のLCMベースの最適化ベースのメソッドを大幅に上回ることができる。 StrokeNUWAは、SVGコード圧縮比が6.9%の従来の手法よりも94倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2024-01-30T15:20:26Z)
• Delving into Shape-aware Zero-shot Semantic Segmentation [18.51025849474123]
  我々はtextbfshape-aware zero-shot semantic segmentation を提案する。 古典的スペクトル法に着想を得て,自己教師付き画素ワイド特徴を持つラプラシア行列の固有ベクトルを活用することを提案する。 提案手法は,PascalとCOCOの両方でゼロショットセマンティックセマンティックセグメンテーションのための最先端性能を新たに設定する。
  論文  参考訳（メタデータ） (2023-04-17T17:59:46Z)
• SparseFormer: Sparse Visual Recognition via Limited Latent Tokens [30.494412497158237]
  本稿では,人間のスパース認識をエンドツーエンドに模倣する新しい手法であるスパースホルダーを提案する。 SparseFormerは画像空間上の高密度な操作の多くを回避し、計算コストを大幅に削減する。 ImageNet分類ベンチマークデータセットの実験では、SparseFormerは標準モデルや確立されたモデルと同等のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-04-07T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。