論文の概要: Displacement Geometry Captures Platonic Shared Reality Across Models and Modalities
- arxiv url: http://arxiv.org/abs/2609.24209v1
- Date: Mon, 21 Sep 2026 07:28:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.180981
- Title: Displacement Geometry Captures Platonic Shared Reality Across Models and Modalities
- Title（参考訳）: モデルとモード間のプラトン共有現実感の変位幾何学的キャプチャ
- Abstract要約: モデルが共有しているものは、表現空間内のサンプルの位置ではなく、それら間の方向(変位ベクトル)を示す。
我々の理論は、微調整がポイントワイドな類似性を保っているが、変位を崩壊させると予測できる。
主な意味は、セマンティクスが線形に整列するが機能しないため、あるモデルから別のモデルへ機能をインポートできるということである。
- 参考スコア（独自算出の注目度）: 14.806736448611021
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Platonic Representation Hypothesis (PRH) claims that independently trained models converge on a shared statistical model of reality, yet recent work finds only weak pointwise similarity between models. In this paper, we show that what models share is not the location of samples in representation space, but the directions (displacement vectors) between them. Under a single orthogonal alignment--rotation and reflection only--these displacement vectors are substantially preserved across 44 independently trained vision and language encoders spanning modalities and asymmetric capability pairs, consistent with the PRH evidence. The samples' absolute positions are not, consistent with recent counter-evidence. Both arise from a single decomposition: representations split into a shared semantic component that is linearly aligned across models, and a private capability component that is not. We trace this geometry to concept-level structure: within a model, parent concepts are orthogonal to their child variation vectors; across models, concept displacements are parallel. Our theory falsifiably predicts (and experiments confirm) that fine-tuning preserves pointwise similarity but collapses displacement, and that relational distillation does the opposite. A major implication is that, because semantics align linearly but capabilities do not, capabilities can be imported from one model to another using a single cached forward pass through the source. We call this Shadow Casting. As a proof of concept, our SHADOWCLIP instantiation outperforms strong fine-tuned baselines at orders of magnitude less compute. A cache can be released alongside open model weights, letting one model's capabilities be downloaded and imported into any number of other models without fine-tuning.
- Abstract（参考訳）: プラトン表現仮説(PRH)は、独立に訓練されたモデルは現実の共有統計モデルに収束すると主張しているが、最近の研究はモデル間の弱い点的類似性しか見つからない。
本稿では,モデルが共有するのは表現空間内のサンプルの位置ではなく,それら間の方向(変位ベクトル)であることを示す。
単一の直交アライメント-回転と反射のみの下で、これらの変位ベクトルは44個の独立に訓練された視覚と言語エンコーダで実質的に保存される。
サンプルの絶対位置は、最近の反証拠と一致していない。
表現は、モデル間で線形に整列する共有セマンティックコンポーネントと、そうでないプライベート機能コンポーネントに分けられる。
モデルでは、親の概念は子の変化ベクトルと直交しており、モデル全体では、概念変位は平行である。
我々の理論は、微調整は点で類似性を保つが、変位は崩壊し、リレーショナル蒸留は反対である、と予測する(そして実験は確認する)。
主な意味は、セマンティクスが線形に整列するが、機能がないため、単一のキャッシュされたフォワードパスを使用して、あるモデルから別のモデルに機能をインポートできるということである。
これをシャドウキャスティングと呼ぶ。
概念実証として、SHADOWCLIPのインスタンス化は、強い微調整されたベースラインを桁違いに少ない計算で上回る。
キャッシュはオープンモデルウェイトと共にリリース可能で、微調整なしで、あるモデルの機能をダウンロードして他のモデルにインポートすることができる。
関連論文リスト
- Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models [51.56484100374058]
モデルがサポートできるほぼ直交方向数を推定するためのフレームワークを開発する。
このメトリックを数十のオープンソースモデルに適用すると、高い$varepsilon$を持つモデルと、それを維持する$varepsilon$の低いモデルという2つのクラスが明らかになる。
論文 参考訳（メタデータ） (2026-06-01T18:28:56Z) - Anisotropic Modality Align [91.23979617826926]
マルチモーダルな大規模言語モデルの訓練は、高品質なペア型マルチモーダルデータの不足により、長い間制限されてきた。
近年の研究では、事前訓練されたマルチモーダルコントラストモデルの共有表現空間がブリッジとして機能し、非モーダルデータを用いたマルチモーダルトレーニングを可能にすることが示されている。
中心となる障害は、共有空間の永続的なモダリティギャップにある。
論文 参考訳（メタデータ） (2026-05-08T14:53:24Z) - Back into Plato's Cave: Examining Cross-modal Representational Convergence at Scale [40.31924374728614]
プラトン表現仮説(Platonic Representation hypothesis)は、異なるモダリティで訓練されたニューラルネットワークが一致し、最終的に同じ現実の表現に向かって収束することを示唆している。
この仮説の実験的証拠は脆弱であり, 評価体制に大きく依存していることが示唆された。
論文 参考訳（メタデータ） (2026-04-20T17:56:02Z) - Making Foundation Models Probabilistic via Singular Value Ensembles [56.4174499669573]
ファンデーションモデルは機械学習において支配的なパラダイムとなり、大規模な事前学習を通じて様々なタスクにまたがる顕著なパフォーマンスを実現している。
不確実性を定量化し、独立したモデルのアンサンブルを訓練する標準的なアプローチは、アンサンブルサイズと線形にスケールする禁制的な計算コストを発生させる。
本稿では,単純だが強力なコア仮定に基づいて,パラメータ効率の高い暗黙アンサンブル手法であるSVEを提案する。
本研究では,SVEの不確かさの定量化が,基本モデルのパラメータ数を1%以下に増加させながら,明示的な深層アンサンブルに匹敵することを示す。
論文 参考訳（メタデータ） (2026-01-29T18:07:18Z) - Gauge-invariant representation holonomy [1.078600700827543]
深層ネットワークは、幾何学的特徴を持つ内部表現(曲がり、回転、進化)を学習し、一般化と堅牢性の両方に影響を及ぼす。
CKAやSVCCAのような既存の類似度尺度は、アクティベーションセット間でポイントワイドに重なるが、入力パスに沿って表現がどのように変化するかを見逃す。
この経路依存性を測定するゲージ不変統計量である表現ホロノミーを導入する。
論文 参考訳（メタデータ） (2026-01-29T12:51:17Z) - Linear Representation Transferability Hypothesis: Leveraging Small Models to Steer Large Models [6.390475802910619]
同一データ上で訓練されたモデル間で学習された表現は、基本特徴の近辺集合の線形結合として表現できることを示す。
これらの基本機能は、学習タスク自体を基盤とし、スケールに関係なく、モデル間で一貫性を維持します。
論文 参考訳（メタデータ） (2025-05-31T17:45:18Z) - Multi-Level Collaboration in Model Merging [56.31088116526825]
本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。
これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
論文 参考訳（メタデータ） (2025-03-03T07:45:04Z) - Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。
この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。
我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
論文 参考訳（メタデータ） (2023-10-23T04:35:58Z) - Why do classifier accuracies show linear trends under distribution
shift? [58.40438263312526]
あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。
2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。
分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
論文 参考訳（メタデータ） (2020-12-31T07:24:30Z) - The role of (non)contextuality in Bell's theorems from the perspective
of an operational modeling framework [0.0]
非コンテキスト性はQM予測の複製をブロックする操作モデルの最も一般的な性質である。
ODモデルインスタンスの有限アンサンブルの凸殻の構成は(数学的に)従来の隠れ変数のアプローチと同値であることが示されている。
論文 参考訳（メタデータ） (2020-01-23T20:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。