論文の概要: Native Geometry vs. Linear Recoverability: How Alignment Changes Platonic Scaling
- arxiv url: http://arxiv.org/abs/2610.22749v1
- Date: Thu, 15 Oct 2026 23:38:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.698925
- Title: Native Geometry vs. Linear Recoverability: How Alignment Changes Platonic Scaling
- Title(参考訳): ネイティブジオメトリと線形リカバリ性 - 配向がプラトンスケールをどのように変えるか
- Abstract要約: リッジアライメントはモデルサイズとデータセット近傍の対応関係を強くする。
Sparse Autoencoder (SAE) とBlock-Sparse Featuriser (BSF) の機能は、密な埋め込みに適用されるのと同じアライメントに対して、何の利点も与えない。
- 参考スコア(独自算出の注目度): 1.8877143746653415
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Do larger models learn increasingly similar representations of the same world? The Platonic Representation Hypothesis (PRH) predicts that they should, but similar can mean native cosine geometry---nearest-neighbour structure induced by cosine similarity before any learned alignment---or linear recoverability: correspondence revealed by a supervised linear map. Using matched Legacy Survey and Hyper Suprime-Cam (HSC) embeddings across five model families, we find that Ridge alignment strengthens the relationship between model size and cross-dataset neighbourhood correspondence relative to native cosine geometry. The effect appears in all five families and persists when both representations are reduced to dimension, so it is not simply that wider embeddings give alignment more dimensions to work with. The learned maps remain far from rotations or uniform scaling, and Sparse Autoencoder (SAE) and Block-Sparse Featuriser (BSF) features give no advantage over the same alignment applied to dense embeddings. Model scale thus improves linear recoverability more clearly than native cosine-neighbourhood correspondence, without establishing convergence toward a shared native metric geometry.
- Abstract(参考訳): より大きなモデルは、同じ世界の同様の表現をますます学習するのか?
Platonic Representation hypothesis (PRH) は、それらがすべきことを予測しているが、同様のことはネイティブコサイン幾何学、-コサイン類似性によって誘導されるアネレスト近傍構造、--リニアリカバリ可能性: 教師付き線形写像によって明らかにされる対応を意味する。
マッチングされたレガシーサーベイと5つのモデルファミリーにまたがるハイパー・サプライム・カム (HSC) の埋め込みを用いて、リッジアライメントはモデルサイズとネイティブコサイン幾何に対するクロスデータセット近傍の対応関係との関係を強化する。
この効果は5つの族すべてに現れ、両方の表現が次元に縮小されたときに持続するので、より広い埋め込みが働くためにより多くの次元を与えるわけではない。
Sparse Autoencoder (SAE) とBlock-Sparse Featuriser (BSF) の機能は、密な埋め込みに適用されるのと同じアライメントに対して、何の利点も与えない。
モデルスケールは、共有計量幾何学への収束を確立することなく、コサイン近傍の対応よりも線形回復性をより明確に改善する。
関連論文リスト
- Learning Propagation Geometry from Message-Passing Feedback [58.684834960683226]
GeoFは、メッセージパッシングフィードバックを通じてノード機能と伝搬幾何学を進化させる、反復的なフレームワークである。
ベンチマークデータセットの実験は、GeoFが最先端のGNNベースラインを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2026-09-28T09:22:49Z) - Stable and Scalable Bundle Adjustment of Holistic 3D Structures [99.03818732955783]
本稿では,3次元コンピュータビジョンのためのBundle Adjustment (BA) の新バージョンを提案する。
BAはカメラ、ポーズ、3Dポイントを共同で最適化するために開発された。
グループ誘導測定とクロスフィーチャー・リジェクションにより、古典的な点のみの3次元正規化の空間性を維持する。
論文 参考訳(メタデータ) (2026-09-03T16:08:03Z) - Curvature-Aware Radius Shrinkage for Adaptive Nearest Neighbor Classification [52.452902154360565]
CARSANNは、局所的な幾何学的複雑さに応じて各地区の空間的支持を適応する幾何学駆動のフレームワークである。
70以上の実世界のOpenMLデータセットの実験は、CARSANNが標準の$k$-NNで一貫して改善されていることを示している。
論文 参考訳(メタデータ) (2026-08-27T19:19:07Z) - TORA: Topological Representation Alignment for 3D Shape Assembly [48.12655111974345]
3次元形状集合のためのフローマッチング法は、部品を組み立てられた構成に向かって輸送する点方向の速度場を学習するが、どの部分間の相互作用が運動を駆動すべきかについて明確なガイダンスは得られない。
ToRAは,凍結した3Dエンコーダから,トレーニング中のフローマッチングバックボーンにリレーショナル構造を蒸留するトポロジファースト表現アライメントフレームワークである。
幾何学的、意味論的、オブジェクト間アセンブリにまたがる5つのベンチマークの実験は、最先端のパフォーマンスを示し、特に目に見えない現実世界や合成データセットへのゼロショット転送が顕著である。
論文 参考訳(メタデータ) (2026-04-05T10:47:52Z) - Gauge-invariant representation holonomy [1.078600700827543]
深層ネットワークは、幾何学的特徴を持つ内部表現(曲がり、回転、進化)を学習し、一般化と堅牢性の両方に影響を及ぼす。
CKAやSVCCAのような既存の類似度尺度は、アクティベーションセット間でポイントワイドに重なるが、入力パスに沿って表現がどのように変化するかを見逃す。
この経路依存性を測定するゲージ不変統計量である表現ホロノミーを導入する。
論文 参考訳(メタデータ) (2026-01-29T12:51:17Z) - Local-Curvature-Aware Knowledge Graph Embedding: An Extended Ricci Flow Approach [4.686364613477057]
知識グラフの埋め込みは、意味的および構造的関係を符号化するために埋め込み空間の幾何学に依存する。
拡張リッチ流における局所曲率とKGE勾配損失を結合させるRicciKGEを提案する。
リンク予測とノード分類ベンチマークの実験的改善により、RicciKGEが不均一な知識グラフ構造に適応することを示す。
論文 参考訳(メタデータ) (2025-12-08T09:20:06Z) - The Double-Ellipsoid Geometry of CLIP [4.013156524547072]
対照的に、CLIP(Contrastive Language- Image Pre-Training)は機械学習アプリケーションにおいて非常に有効である。
テキストと画像は, 原点中心ではなく, 線形分離可能な楕円体殻上に存在することを示す。
インスタンスの任意の他のインスタンスに対する平均コサイン類似度を測定する、新しい整合性の概念が導入された。
論文 参考訳(メタデータ) (2024-11-21T16:27:22Z) - Geometrically Consistent Partial Shape Matching [50.29468769172704]
3次元形状の対応を見つけることは、コンピュータビジョンとグラフィックスにおいて重要な問題である。
しばしば無視されるが、整合幾何学の重要な性質は整合性である。
本稿では,新しい整数型線形計画部分形状整合式を提案する。
論文 参考訳(メタデータ) (2023-09-10T12:21:42Z) - A Scalable Combinatorial Solver for Elastic Geometrically Consistent 3D
Shape Matching [69.14632473279651]
本稿では,3次元形状間の幾何学的一貫したマッピング空間をグローバルに最適化するスケーラブルなアルゴリズムを提案する。
従来の解法よりも数桁高速なラグランジュ双対問題と結合した新しい原始問題を提案する。
論文 参考訳(メタデータ) (2022-04-27T09:47:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。