論文の概要: METRO: Metric-Enhanced Token Routing Operator
- arxiv url: http://arxiv.org/abs/2610.05100v1
- Date: Sun, 04 Oct 2026 10:14:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 23:26:15.017385
- Title: METRO: Metric-Enhanced Token Routing Operator
- Title(参考訳): METRO:Metric-Enhanced Token Routing Operator
- Abstract要約: 線形射影を学習可能なマハラノビス計量に置き換える幾何対応ルーティング機構を提案する。
ドロップイン代替として、METROはTransformerとMambaのバックボーンに一貫した改善をもたらす。
- 参考スコア(独自算出の注目度): 35.84160480867363
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State-of-the-art neural operators scale to complex meshes via slice-and-process architectures, yet many rely on linear compatibility scores for latent tokenization. Under common feature normalization, such scores are equivalent to isotropic Euclidean clustering, while without normalization they induce unbounded linear decision regions. In both cases, they lack slice-specific anisotropic locality, which can lead to redundant and entangled latent slices. To address this, we propose Metric-Enhanced Token Routing Operator (METRO), a geometry-aware routing mechanism that replaces linear projection with a learnable Mahalanobis metric. By enabling each latent slice to learn a local anisotropic tensor, METRO shapes receptive fields into exponentially localized, oriented ellipsoids that naturally align with flow features like boundary layers and wakes. As a drop-in replacement, METRO yields consistent improvements across both Transformer and Mamba backbones. Empirically, our method achieves substantial performance gains on irregular domains, outperforming baselines on both standard PDE benchmarks and complex industrial design tasks. Finally, METRO exhibits enhanced robustness in out-of-distribution regimes across varying Reynolds numbers and geometric configurations.
- Abstract(参考訳): 最先端のニューラル演算子はスライス・アンド・プロセスアーキテクチャを通じて複雑なメッシュにスケールするが、その多くは潜在トークン化のための線形互換性スコアに依存している。
共通特徴正規化の下では、そのようなスコアは等方的ユークリッドクラスタリングと等価であるが、正規化なしでは非有界線型決定領域を誘導する。
どちらの場合も、スライス特異的な異方性局所性が欠如しており、冗長で絡み合った潜伏スライスにつながる可能性がある。
そこで我々は,線形射影を学習可能なマハラノビス計量に置き換える幾何学的ルーティング機構であるMetric-Enhanced Token Routing Operator (METRO)を提案する。
それぞれの潜伏スライスで局所異方性テンソルを学習させることにより、METROは受容体を指数関数的に局所化して向き付けられた楕円体に形成し、境界層やウェイクのような流れの特徴と自然に一致する。
ドロップイン代替として、METROはTransformerとMambaのバックボーンに一貫した改善をもたらす。
提案手法は, 標準PDEベンチマークと複雑な工業設計タスクの両面において, ベースラインを上回り, 不規則領域での大幅な性能向上を実現している。
最後に、METROは、様々なレイノルズ数と幾何構成にまたがる分布外規則の強靭性を示す。
関連論文リスト
- MeshOctave generates meshes via cascading resolution transitions [39.92539008617647]
MeshOctaveは、Dyadic空間グリッドの解像度を通じてスケールを定義し、決定論的崩壊として粗い粒度をフレーミングする。
スケール条件付きマスク付き一様離散拡散モデルを構築し,分解分解能崩壊階層から分割・再配線操作を学習する。
論文 参考訳(メタデータ) (2026-09-30T05:04:00Z) - A Mean Curvature Approach to Boundary Detection: Geometric Insights for Unsupervised Learning [52.452902154360565]
本稿では,幾何学的機械学習に基づく新しい幾何学的フレームワークであるMean Curvature Boundary Points (MCBP)を紹介する。
MCBPはデータ多様体の固有曲率を明示的にモデル化し、原理化された多様体のパラメトリゼーションを必要としない点平均曲率を計算する。
合成および実世界のデータセットの実験により、MCBPはクラスタリング性能を一貫して改善することを示した。
論文 参考訳(メタデータ) (2026-05-05T20:19:09Z) - Keep It CALM: Toward Calibration-Free Kilometer-Level SLAM with Visual Geometry Foundation Models via an Assistant Eye [34.902300948471314]
CAL2Mは任意のVGFMと互換性のあるプラグイン・アンド・プレイのフレームワークである。
一定の物理的間隔の先行を利用するためだけに「補助眼」を使用する。
不正確な内因論による回転と翻訳の誤りを効果的に正すことができる。
論文 参考訳(メタデータ) (2026-04-16T08:58:57Z) - Hybrid Dual-Path Linear Transformations for Efficient Transformer Architectures [0.0]
本稿では,アフィン変換を2つのトポロジカルな経路に分解するHybrid Dual-Path Linear (HDPL)演算子について紹介する。
FineWeb-Eduデータセットの実験では、HDPLアーキテクチャが標準のLlamaスタイルのベースラインより優れていることが示されている。
本稿では,トランスフォーマーのバックボーン内での確率的潜在空間の明示的な物質化が,重要な建築的余裕として果たす役割について論じる。
論文 参考訳(メタデータ) (2026-02-05T20:16:10Z) - RiemanLine: Riemannian Manifold Representation of 3D Lines for Factor Graph Optimization [49.83974390433746]
本稿では,3次元ラインの最小限の統一表現である textbfRiemanLine を紹介する。
私たちのキーとなるアイデアは、各行のランドマークをグローバルなコンポーネントとローカルなコンポーネントに分離することです。
ICL-NUIM, TartanAir, および総合ベンチマークを用いた実験により, 提案手法はより精度の高いポーズ推定とライン再構成を実現することが示された。
論文 参考訳(メタデータ) (2025-08-06T11:27:38Z) - Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。
以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。
我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。
この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
論文 参考訳(メタデータ) (2025-06-28T01:46:36Z) - EqNIO: Subequivariant Neural Inertial Odometry [33.96552018734359]
重力ベクトルの周りで回転すると、IMUデータは等変的に変形し、重力に平行な任意の平面に対して反射することを示す。
そして、IMUデータをこのフレームにマッピングし、既製の慣性オドメトリーネットワークで直接使用できる不変な正準化を実現する。
論文 参考訳(メタデータ) (2024-08-12T17:42:46Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳(メタデータ) (2023-08-31T17:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。