論文の概要: The Geometry of Meaning in Neural Manifolds
- arxiv url: http://arxiv.org/abs/2610.30938v1
- Date: Thu, 22 Oct 2026 08:56:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.290452
- Title: The Geometry of Meaning in Neural Manifolds
- Title(参考訳): ニューラルマニフォールドにおける意味の幾何学
- Abstract要約: この論文は、意味対応は非互換なパラメータ化の下にある共有幾何学構造を明らかにする原始的原始的であることを示している。
この原則に基づいて、14のコントリビューションがゼロショットモデル縫合、クロスモーダル翻訳、ポリシー転送、アクティベーションステアリング、ニューラルデコーディングを横断する対応ベースのアライメントを探求している。
- 参考スコア(独自算出の注目度): 6.881690376987348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Just as different languages express the same concept through different words, neural networks express similar functions through incompatible coordinate systems. Different architectures, random initializations, and optimization trajectories produce incompatible parameterizations in extrinsic coordinates, obscuring functional relationships between independently trained models. When models independently solve similar tasks on related data, do their learned representations share exploitable structure despite incompatible coordinates? This thesis shows that semantic correspondence is a fundamental primitive revealing shared geometric structure beneath incompatible parameterizations. By identifying which elements refer to the same semantic content, correspondence breaks the symmetry of arbitrary implementation choices, anchoring incompatible systems to a shared semantic frame and revealing the intrinsic geometry that enables zero-shot transformation between independently trained models. Building on this principle, fourteen contributions explore correspondence-based alignment across zero-shot model stitching, cross-modal translation, policy transfer, activation steering, and neural decoding. They span domains (vision, language, reinforcement learning, neuroscience), architectures (CNNs, Transformers, graph networks), and scales (from small supervised models to billion-parameter generative systems). Each exploits different geometric properties (angular, metric, spectral, sparse, or distributional), yet all instantiate the same principle. It extends beyond artificial systems: fMRI data show that different human brains processing identical stimuli exhibit alignable geometric structure. By revealing intrinsic geometric structure beneath extrinsic parameterization, semantic correspondence transforms model isolation into interoperability.
- Abstract(参考訳): 異なる言語が異なる単語を通して同じ概念を表現しているように、ニューラルネットワークは非互換な座標系を通して同様の機能を表現している。
異なるアーキテクチャ、ランダム初期化、最適化トラジェクトリは、外部座標において非互換なパラメータ化を生成し、独立に訓練されたモデル間の機能的関係を隠蔽する。
モデルが関連するデータ上の類似したタスクを独立に解くとき、それらの学習された表現は非互換な座標にもかかわらず、利用可能な構造を共有するか?
この論文は、意味的対応が非互換なパラメータ化の下にある共有幾何学構造を明らかにする基本的な原始的であることを示している。
どの要素が同じ意味的内容を参照しているかを特定することで、対応は任意の実装選択の対称性を破り、非互換なシステムを共有意味フレームに固定し、独立に訓練されたモデル間のゼロショット変換を可能にする固有の幾何学を明らかにする。
この原則に基づいて、14のコントリビューションがゼロショットモデル縫合、クロスモーダル翻訳、ポリシー転送、アクティベーションステアリング、ニューラルデコーディングを横断する対応ベースのアライメントを探求している。
これらはドメイン(ビジョン、言語、強化学習、神経科学)、アーキテクチャ(CNN、トランスフォーマー、グラフネットワーク)、スケール(小さな教師付きモデルから10億パラメータ生成システムまで)にまたがる。
それぞれ異なる幾何学的性質(角、メートル法、スペクトル、スパース、分布)を利用するが、すべて同じ原理をインスタンス化する。
fMRIのデータでは、異なる人間の脳が同じ刺激を処理すると、整列可能な幾何学的構造が示されます。
外部パラメータ化の下で固有の幾何学構造を明らかにすることで、セマンティック対応はモデルの分離を相互運用に変換する。
関連論文リスト
- Permutation-Equivariant Flow Matching for Alignment-Free Neural Weight Generation [65.70290789922743]
フローマッチング速度場を置換同変グラフメタネットワークでパラメータ化する。
実験により,本手法は,独立に訓練されたコレクションの精度,機能的類似度,重量類似度に関する共同統計を密接に再現することを示した。
論文 参考訳(メタデータ) (2026-09-26T18:04:17Z) - Speaking the Language of Science: Toward a General-Purpose Generative Foundation Model for the Natural Sciences [89.71422932447423]
LOGOSは、自然科学における異種タスクを統一する科学生成言語モデルである。
空間的接触パターンと制約パターンを離散トークンとして表現することにより、モデルは純粋にシーケンシャルな方法で複雑な構造的相互作用をキャプチャする。
多様なタスクにわたって、LOGOSは一貫してドメイン固有のベースラインにマッチまたは性能を向上する。
論文 参考訳(メタデータ) (2026-06-15T16:14:53Z) - See More, Match Better: Multi-Source Feature Fusion for Two-View Correspondence Learning [52.52121389921707]
2視点対応学習は、画像対における真対応(インレーシ)と偽対応(インレーシ)とを区別することを目的としている。
既存の手法は主に座標に基づく幾何の整合性に依存する。
本稿では,2視点対応学習のためのマルチソース機能融合フレームワークTriMatchを提案する。
論文 参考訳(メタデータ) (2026-06-08T09:33:01Z) - Improving Relative Representations with Learned Anchors and Whitened Inner Products [0.0]
独立に訓練されたニューラルモデルは一般に非互換な潜在表現に収束する。
相対表現(RR)は、絶対座標を共通アンカー点と類似性によって定義される共有空間にマッピングすることでこの問題に対処する。
従来の実装はランダムにサンプリングされたアンカーとコサインの類似性に依存している。
本稿では,2つの改良点に基づくクロスモデル通信のためのロバストなフレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-28T21:43:53Z) - Convergent Evolution: How Different Language Models Learn Similar Number Representations [53.8769088563044]
自然言語で訓練された言語モデルは、T=2, 5, 10$で支配的な周期を持つ周期的特徴を用いて数値を表現することを学ぶ。
Transformer、Linear RNN、LSTM、そして古典的な単語埋め込みは、すべて、Fourierドメインで周期$T$スパイクを持つ機能を学ぶ。
数 mod-$T$ を線形に分類するのに使用できる幾何的に分離可能な特徴だけを学ぶ。
論文 参考訳(メタデータ) (2026-04-22T17:45:27Z) - Separable neural architectures as a primitive for unified predictive and generative intelligence [0.7318787399845128]
我々は、加法モデル、二次モデル、テンソル分解モデルを統合する表現クラスを定式化する。
SNAは、高次元の高分解成分への写像を分解する構造的帰納バイアスを課す。
これらの結果は、予測および生成知能のドメインに依存しないプリミティブとして分離可能なニューラルアーキテクチャを確立する。
論文 参考訳(メタデータ) (2026-03-12T17:56:54Z) - Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。
局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。
この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
論文 参考訳(メタデータ) (2025-05-11T17:44:14Z) - Current Symmetry Group Equivariant Convolution Frameworks for Representation Learning [5.802794302956837]
ユークリッドの深層学習はしばしば、表現空間が不規則で複雑な位相で湾曲した実世界の信号に対処するのに不十分である。
我々は、対称性群同変深層学習モデルの重要性と、グラフや3次元形状、非ユークリッド空間における畳み込みのような操作の実現に焦点を当てる。
論文 参考訳(メタデータ) (2024-09-11T15:07:18Z) - Relative representations enable zero-shot latent space communication [19.144630518400604]
ニューラルネットワークは、高次元空間に横たわるデータ多様体の幾何学的構造を潜在表現に埋め込む。
ニューラルネットワークがこれらの相対表現をどのように活用して、実際に潜時等尺不変性を保証するかを示す。
論文 参考訳(メタデータ) (2022-09-30T12:37:03Z) - NeuroMorph: Unsupervised Shape Interpolation and Correspondence in One
Go [109.88509362837475]
入力2つの3次元形状を考慮したニューラルネットワークアーキテクチャであるNeuroMorphを提案する。
NeuroMorphはそれらの間のスムーズかつポイントツーポイント対応を生成する。
異なる対象カテゴリの非等尺性ペアを含む、さまざまな入力形状に対してうまく機能する。
論文 参考訳(メタデータ) (2021-06-17T12:25:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。