論文の概要: The Geometric Alignment Tax: Tokenization vs. Continuous Geometry in Scientific Foundation Models

• arxiv url: http://arxiv.org/abs/2604.04155v1
• Date: Sun, 05 Apr 2026 15:45:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.949232
• Title: The Geometric Alignment Tax: Tokenization vs. Continuous Geometry in Scientific Foundation Models
• Title（参考訳）: 幾何学的アライメント税 : 科学財団モデルにおけるトークン化と連続幾何学
• Authors: Prashant C. Raju,
• Abstract要約: 根本原因は、幾何学的アライメント税である。 速度歪理論とMINEを用いた14の生物基盤モデルの評価を行った。 低歪み、高相互情報、大域コヒーレンスを同時に達成するモデルは存在しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models for biology and physics optimize predictive accuracy, but their internal representations systematically fail to preserve the continuous geometry of the systems they model. We identify the root cause: the Geometric Alignment Tax, an intrinsic cost of forcing continuous manifolds through discrete categorical bottlenecks. Controlled ablations on synthetic dynamical systems demonstrate that replacing cross-entropy with a continuous head on an identical encoder reduces geometric distortion by up to 8.5x, while learned codebooks exhibit a non-monotonic double bind where finer quantization worsens geometry despite improving reconstruction. Under continuous objectives, three architectures differ by 1.3x; under discrete tokenization, they diverge by 3,000x. Evaluating 14 biological foundation models with rate-distortion theory and MINE, we identify three failure regimes: Local-Global Decoupling, Representational Compression, and Geometric Vacuity. A controlled experiment confirms that Evo 2's reverse-complement robustness on real DNA reflects conserved sequence composition, not learned symmetry. No model achieves simultaneously low distortion, high mutual information, and global coherence.
• Abstract（参考訳）: 生物学と物理学の基礎モデルは予測精度を最適化するが、内部表現は体系的にそれらがモデル化するシステムの連続的な幾何学を保存することに失敗する。 幾何学的アライメント税(Geometric Alignment Tax)とは、連続多様体を離散的な分類的ボトルネックによって強制する本質的なコストである。 合成力学系における制御されたアブレーションは、クロスエントロピーを同一エンコーダ上の連続ヘッドに置き換えることで、幾何歪みを最大8.5倍減少させることを示した。 連続的な目的の下では、3つのアーキテクチャは1.3倍異なる。 速度歪み理論とMINEを用いた14の生物基盤モデルの評価を行い, 局所-グローバルデカップリング, 表現圧縮, 幾何学的真空の3つの障害機構を同定した。 制御された実験により、エボ2の実際のDNAに対する逆補足の堅牢性は、学習対称性ではなく保存された配列組成を反映していることが確認された。 低い歪み、高い相互情報、グローバルコヒーレンスを同時に達成するモデルは存在しない。

関連論文リスト

• The Geometric Price of Discrete Logic: Context-driven Manifold Dynamics of Number Representations [6.414826816896125]
  大規模言語モデル(LLM)は連続的な意味空間をスムーズに一般化するが、厳密な論理的推論は決定境界の形成を要求する。 我々は、タスクコンテキストが、必要な「トポロジ的歪み」を強制する非等方的力学演算子として機能すると主張している。 この幾何学的進化は、単純な写像から複雑な原始性テストまで、タスクの勾配を越えて検証する。
  論文  参考訳（メタデータ） (2026-03-24T13:41:57Z)
• Measuring 3D Spatial Geometric Consistency in Dynamic Generated Videos [67.7364297817535]
  ビデオにおける3D textbfSpatial textbfGeometric textbfConsistencyを評価するためのメトリクスであるSGCを紹介する。 SGCは幾何的不整合を頑健に定量化し、既存のメトリクスで欠落した臨界故障を効果的に特定する。
  論文  参考訳（メタデータ） (2026-03-19T15:44:39Z)
• Rethinking Diffusion Models with Symmetries through Canonicalization with Applications to Molecular Graph Generation [56.361076943802594]
  CanonFlowは、挑戦的なGEOM-DRUGデータセット上で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-16T18:58:55Z)
• The Geometric Mechanics of Contrastive Representation Learning: Alignment Potentials, Entropic Dispersion, and Cross-Modal Divergence [17.501700376593174]
  固定埋め込み多様体上の表現測度の進化として学習をモデル化する測度理論フレームワークを提案する。 大規模バッチ限界における値と整合性を確立することにより、不整合目標を明示的なエネルギー景観に橋渡しする。 この用語は,構造的幾何学的必要条件として,人口レベルのモダリティギャップを強制するバリア駆動型共適応を誘導することを示す。
  論文  参考訳（メタデータ） (2026-01-27T13:33:03Z)
• Multi-Scale Negative Coupled Information Systems (MNCIS): A Unified Spectral Topology Framework for Stability in Turbulence, AI, and Biology [1.4213973379473657]
  本研究は,MNCIS(Multi-Scale Negative Coupled Information System)フレームワークを一般化する。 グローバルな安定性には、状態依存のハイパスフィルタとして機能するアクティブなトポロジカル演算子 -- アダプティブスペクトル負結合(ASNC)が必要です。 ASNCはSGS(Global-enstrophy Adaptive Sub-Grid Scale)モデルとして機能し、不可視の限界を安定化し、人工超視力なしでコルモゴロフの5/3$慣性範囲を保存する。 以上の結果から, MNCISフレームワークは, 熱平衡に崩壊する複雑系と熱平衡を区別するために, 基底非依存の位相条件を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-01-06T21:11:33Z)
• Dynamics of Agentic Loops in Large Language Models: A Geometric Theory of Trajectories [0.0]
  本稿では,意味埋め込み空間におけるエージェント軌道解析のための幾何学的枠組みを提案する。 コサイン類似性は異方性埋め込みによってバイアスを受けるため,等方性キャリブレーションを導入する。 これにより、軌道、クラスター、引力の厳密な測定が可能となる。
  論文  参考訳（メタデータ） (2025-12-11T07:06:14Z)
• Geometric Meta-Learning via Coupled Ricci Flow: Unifying Knowledge Representation and Quantum Entanglement [7.410691988131121]
  本稿では,3つの基礎的革新を通じて,幾何学的フローと深層学習を統合した統一的な枠組みを確立する。 まず,パラメータ空間の幾何を動的に適用し,景観トポロジーを損なう熱力学的に結合したリッチフローを提案する。 第2に、曲率の爆発解析により、明示的な位相遷移閾値と臨界学習率を導出する。 第3に、ニューラルネットワークと共形場理論のAdS/CFT型ホログラフィック双対性(Theoremrefthm:ads)を確立する。
  論文  参考訳（メタデータ） (2025-03-25T17:32:31Z)
• Geometric Trajectory Diffusion Models [58.853975433383326]
  生成モデルは3次元幾何学システムの生成において大きな可能性を示してきた。 既存のアプローチは静的構造のみで動作し、物理系は常に自然界において動的であるという事実を無視する。 本研究では3次元軌跡の時間分布をモデル化する最初の拡散モデルである幾何軌道拡散モデル(GeoTDM)を提案する。
  論文  参考訳（メタデータ） (2024-10-16T20:36:41Z)
• Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
  グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。 物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。 本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
  論文  参考訳（メタデータ） (2022-10-13T10:00:30Z)
• Geometric phase in a dissipative Jaynes-Cummings model: theoretical explanation for resonance robustness [68.8204255655161]
  我々は、ユニタリモデルと散逸型Jaynes-Cummingsモデルの両方で得られた幾何位相を計算する。 散逸モデルでは、非単体効果は、空洞壁を通る光子の流出から生じる。 幾何学的位相が堅牢であることを示し、非単体進化の下で消滅する補正を示す。
  論文  参考訳（メタデータ） (2021-10-27T15:27:54Z)
• Quantum anomalous Hall phase in synthetic bilayers via twistless twistronics [58.720142291102135]
  我々は超低温原子と合成次元に基づく「ツイストロン様」物理学の量子シミュレータを提案する。 本研究では,適切な条件下でのトポロジカルバンド構造を示す。
  論文  参考訳（メタデータ） (2020-08-06T19:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。