論文の概要: Do vision models know that three is three?

• arxiv url: http://arxiv.org/abs/2610.35857v1
• Date: Mon, 26 Oct 2026 17:58:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.13981
• Title: Do vision models know that three is three?
• Title（参考訳）: ビジョンモデルは3が3であることを知っていますか。
• Abstract要約: 私たちは、アーキテクチャ、トレーニング目標、スケールにわたるビジョンエンコーダを研究します。 テストされたモデル全体で、統計的に重要な概念の方向性がほぼ一様である。 いくつかのモデルは同じ概念遷移のために複数の線形構造を学習し、レギュラー間で分割する。
• 参考スコア（独自算出の注目度）: 22.65642449228069
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do vision models encode the transition $2{\to}3$ the same way whether it appears in handwritten digits or in hand gestures, and do they "understand" that clean${\to}$dirty is the same transformation regardless of whether it is applied to a kitchen or a carpet? The linear representation hypothesis (LRH) answers this for language models: concept changes correspond to directions in (language) embedding space. In vision, the same concept can manifest in visually unrelated "regimes" that rarely co-occur: images of digits and hands do not share much in common in pixel space. To understand whether vision models still encode the underlying abstract concepts, we study 46 vision encoders across architectures, training objectives, and scales, on 10 concept families including numerosity, age, object identity, and MIT-States attributes. Within each regime, we find statistically significant concept directions near-universally across our tested models. However, two distinct regimes do not always share the same concept direction. Several models learn multiple linear structures for the same concept transition, split across regimes. We call this phenomenon "fragmented linearity": strong local linearity coexisting with near-absent global linearity. Fragmentation is, however, not fixed: models with stronger local linearity progressively escape it (local-global linearity correlated with $τ\in [0.38, 0.89]$ across all concepts), and where global linearity does emerge, concept directions can transfer as linear probes across regimes.
• Abstract（参考訳）: ビジョンモデルは、手書きの数字でも手書きのジェスチャーでも同じように、2{\to}3$をエンコードするだろうか? 線形表現仮説(LRH)は、言語モデルに対して次のように答える: 概念の変化は(言語)埋め込み空間の方向に対応する。 視覚では、同じ概念を視覚的に無関係な「レジーム」で表すことができ、これは滅多に共起しない: 桁と手の画像はピクセル空間で共通して共有されない。 視覚モデルが根底にある抽象概念をコード化しているかどうかを理解するため、46の視覚エンコーダをアーキテクチャ、訓練対象、スケールにわたって調査し、数奇性、年齢、オブジェクトの同一性、MIT-States属性を含む10の概念ファミリについて検討した。 各体制の中では、テストされたモデル全体で統計的に重要な概念の方向がほぼ一様である。 しかし、2つの異なる体制は必ずしも同じ概念の方向性を共有しているわけではない。 いくつかのモデルは同じ概念遷移のために複数の線形構造を学習し、レギュラー間で分割する。 我々はこの現象を「フラグメンテッド線型性(fragmented linearity)」と呼んでいる。 より強い局所線型性を持つモデル(すべての概念にわたって$τ\in [0.38, 0.89]$と相関する局所-グローバル線型性)が徐々に退避し、大域的線型性が出現すると、概念方向はレジーム全体の線形プローブとして転送される。

関連論文リスト

• Displacement Geometry Captures Platonic Shared Reality Across Models and Modalities [14.806736448611021]
  モデルが共有しているものは、表現空間内のサンプルの位置ではなく、それら間の方向(変位ベクトル)を示す。 我々の理論は、微調整がポイントワイドな類似性を保っているが、変位を崩壊させると予測できる。 主な意味は、セマンティクスが線形に整列するが機能しないため、あるモデルから別のモデルへ機能をインポートできるということである。
  論文  参考訳（メタデータ） (2026-09-21T07:28:24Z)
• "World Knowledge" in the Weights: Reading Concept Circuits of Vision Transformers [16.14441292272522]
  視覚変換器(ViT)は、視覚領域全体にわたって顕著な一般化を実現しているが、それらが世界構造をどのように内部的に表現しているかは分かっていない。 クロス層トランスコーダ(CLT)を用いて、ViTから概念回路を読み取る。 本手法はモデル行動の相補的な2つの見解を与える。
  論文  参考訳（メタデータ） (2026-09-08T17:11:48Z)
• Can Machines Really See Objects in Images? A Study Based on Syntactic Distance and Visual Self-Referential Instances [53.65561607407989]
  そのような局所的な手がかりが区別の安定な基盤を提供しない場合、モデルが依然として正しく分類できるかどうかを問う。 ResNetとVision Transformersの実験では、一貫した位相遷移現象が明らかになった。 結果は、汎用インテリジェンスは、既存の言語を再利用するのではなく、新しい言語を作成する必要があることを示唆している。
  論文  参考訳（メタデータ） (2026-06-28T14:27:40Z)
• Probing Visual Concepts in Lightweight Vision-Language Models for Automated Driving [3.333320380836246]
  VLM(Vision-Language Models)は、自動走行アプリケーションに使用される。 これらのモデルは、自動運転に非常に関係のある単純な視覚的な問題で失敗することが多い。 シーンにおけるオブジェクトやエージェントの存在などの概念は、明示的にかつ線形に符号化されていることを示す。 物体やエージェントの向きなどの他の空間視覚概念は、視覚エンコーダが保持する空間構造によって暗黙的に符号化される。 最後に,対象物の距離を増大させると,対応する視覚概念の線形分離性が急速に低下することを示す。
  論文  参考訳（メタデータ） (2026-03-06T09:07:57Z)
• Seeing through Imagination: Learning Scene Geometry via Implicit Spatial World Modeling [68.14113731953971]
  本稿では,人間のような想像力をシミュレートするインプリシット・スパットIaLwOrldモデリングパラダイムMILOを紹介する。 提案手法は,複数のベースラインとベンチマークにまたがる空間推論能力を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-12-01T16:01:41Z)
• Interpreting the linear structure of vision-language model embedding spaces [12.846590038965774]
  我々は、4つの視覚言語モデルの埋め込み空間上でスパースオートエンコーダ(SAE)を訓練・リリースする。 学習方向の疎線形結合としてのSAEs近似モデル埋め込み、あるいは「概念」 異なる種や異なるデータダイエットでSAEをリトレーニングすることは、2つの発見につながる。SAEによって得られた稀で特異な概念は、劇的に変化するが、一般的に活性化される概念は、実行中に著しく安定していることも示している。
  論文  参考訳（メタデータ） (2025-04-16T01:40:06Z)
• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• LEACE: Perfect linear concept erasure in closed form [97.78661458934953]
  概念消去は、埋め込みから特定の機能を削除することを目的としている。 LEAst-squares Concept Erasure (LEACE) は、すべての線形分類器が可能な限り少ない埋め込みで概念を検出することを確実に防止する閉形式手法である。 LEACEを"concept scrubbing"と呼ばれる新しい手法で大規模言語モデルに適用し、ネットワーク内の各層からターゲット概念情報を消去する。
  論文  参考訳（メタデータ） (2023-06-06T16:07:24Z)
• Kernelized Concept Erasure [108.65038124096907]
  概念消去のための線形ミニマックスゲームのカーネル化を提案する。 特定の非線形敵が概念を予測するのを防ぐことができる。 しかし、保護は異なる非線形敵に移動しない。
  論文  参考訳（メタデータ） (2022-01-28T15:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。