論文の概要: Is a Linear Probe Evidence of a Linear Representation?
- arxiv url: http://arxiv.org/abs/2610.22655v1
- Date: Thu, 15 Oct 2026 21:16:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.671876
- Title: Is a Linear Probe Evidence of a Linear Representation?
- Title（参考訳）: 線形表現の線形証明は線形表現の証拠か?
- Abstract要約: 線形表現仮説は、事前学習された視覚モデルが特徴空間において、生成因子を線形デオード可能な方向としてエンコードしているとする。
このテストは寛容すぎることを示します。ランダムなものを含む、十分にリッチな機能マップは、線形読み出しを認めます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The linear representation hypothesis holds that pretrained vision models encode generative factors as linearly decodable directions in feature space, and comes with a standard methodology: train a linear probe, declare a factor represented if accuracy is high. We show this test is too permissive. Asymptotically, any sufficiently rich feature map, including a random one, admits a linear readout, so high probe accuracy is consistent with two very different geometries: a true linear world model, where the latent-aligned subspace dominates the representation, or a kernel machine, where the latents lie linearly inside a much larger curved manifold. This distinction matters because the curved structure orthogonal to the probe is relevant for out-of-distribution generalization, robustness, and compositional transfer. We propose three asymmetric diagnostics that distinguish the two cases: reverse predictivity, spectral concentration, and out-of-distribution generalization. We validate them in a fully observed simulation where ground truth is known. Applied to six pretrained vision transformers on SVG-World, our deterministic generative benchmark with paired visual styles, and to two of them on CelebA, they show pretraining produces structure beyond a random kernel but well short of a linear world model. On dSprites, 3D Shapes and MPI3D, forward decodability and latent-aligned variance dissociate. Thus, forward decoding alone does not show that the probed factors align with the dominant geometry of the representation. In summary, our work cautions about the success of linear probes as opposed to truly linear and low dimensional representations.
- Abstract（参考訳）: 線形表現仮説は、事前学習された視覚モデルが特徴空間における生成因子を線形デオード可能な方向として符号化し、線形プローブを訓練し、精度が高い場合に表現される因子を宣言する標準的な方法論を伴っている。
このテストは寛容すぎる。
漸近的に、ランダムなものを含む任意の十分リッチな特徴写像は線形可読性を認めており、高いプローブ精度は2つの非常に異なる測地と一致している:真の線形世界モデル(英語版)。
この区別は、プローブに直交する曲線構造が、分布外一般化、ロバスト性、組成移動に関係していることから重要である。
本稿では, 逆予測率, スペクトル濃度, 分布外一般化の2つの症例を区別する3つの非対称診断法を提案する。
我々は、地上の真実が知られている完全に観察されたシミュレーションでそれらを検証した。
SVG-World上の6つの事前学習された視覚変換器、ペア化された視覚スタイルを持つ決定論的生成ベンチマーク、およびCelebA上の2つのモデルに適用すると、事前学習はランダムなカーネルを超えた構造を生成するが、線形世界モデルには劣ることを示す。
dSprites, 3D shapes, MPI3D, forward deodability and latent-aligned variance dissociate。
したがって、前方復号法だけでは、探索された因子が表現の優越的な幾何学と一致していることは示さない。
まとめると、本研究は真の線形および低次元表現とは対照的に、線形プローブの成功に注意を払っている。
関連論文リスト
- On the Spectral Geometry of Cross-Modal Representations: A Functional Map Diagnostic for Multimodal Alignment [0.0]
我々は、独立に訓練された視覚(DINOv2)と言語(All-MiniLM-L6-v2)エンコーダのクロスモーダルアライメントについて検討した。
両エンコーダのラプラシア固有値スペクトルは定量的に類似していることがわかった。
モデルは、どれだけの構造を捉えているかに収束するが、その組織化の仕方には及ばない。
論文 参考訳（メタデータ） (2026-03-28T04:20:54Z) - Robust Mesh Saliency GT Acquisition in VR via View Cone Sampling and Geometric Smoothing [59.12032628787018]
バーチャルリアリティー(VR)における人中心視覚モデリングには3次元メッシュサリエンシ基底真理が不可欠である
現在のVRアイトラッキングパイプラインは、単一線サンプリングとユークリッドのスムース化に依存しており、テクスチャの注意を喚起し、ギャップをまたいだ信号の漏洩を引き起こす。
本稿では,これらの制約に対処する頑健な枠組みを提案する。
論文 参考訳（メタデータ） (2026-01-06T05:20:12Z) - RLE: A Unified Perspective of Data Augmentation for Cross-Spectral Re-identification [59.5042031913258]
非線型モダリティの相違は主に、異なる材料の表面に作用する様々な線形変換に由来する。
本稿では,MRLE(Modrate Random Linear Enhancement)とRRLE(Radical Random Linear Enhancement)を含むRLE(Random Linear Enhancement)戦略を提案する。
実験結果は、RLEの優位性と有効性を示すだけでなく、クロススペクトル再同定のための汎用データ拡張としての可能性も確認した。
論文 参考訳（メタデータ） (2024-11-02T12:13:37Z) - Precise Asymptotics for Spectral Methods in Mixed Generalized Linear Models [31.58736590532443]
混合一般化線形モデルにおいて、統計的に独立な2つの信号を推定する問題を考える。
我々の特徴付けは、ランダム行列、自由確率、および近似メッセージパッシングアルゴリズムの理論からのツールの混合を利用する。
論文 参考訳（メタデータ） (2022-11-21T11:35:25Z) - Orthogonal Jacobian Regularization for Unsupervised Disentanglement in
Image Generation [64.92152574895111]
直交ジャコビアン正規化法(OroJaR)を提案する。
提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
論文 参考訳（メタデータ） (2021-08-17T15:01:46Z) - PlueckerNet: Learn to Register 3D Line Reconstructions [57.20244406275875]
本稿では,ユークリッド空間における2つの部分重畳された3次元線再構成の問題をニューラルネットワークで解く手法を提案する。
室内および屋外の両方のデータセットを用いた実験により,本手法の登録精度(回転と翻訳)は,ベースラインを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2020-12-02T11:31:56Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z) - Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。
そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。
画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
論文 参考訳（メタデータ） (2020-02-18T17:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。