論文の概要: Riemannian--Lorentz Fusion of Vision Transformers and State-Space Models

• arxiv url: http://arxiv.org/abs/2609.19384v1
• Date: Wed, 16 Sep 2026 20:05:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.995327
• Title: Riemannian--Lorentz Fusion of Vision Transformers and State-Space Models
• Title（参考訳）: Riemannian--Lorentz Fusion of Vision Transformer and State-Space Models
• Abstract要約: ディープラーニングのスケールアップは、データの枯渇、指数的トレーニングコスト、リソース集中といった、重大なボトルネックに直面します。 モデルマージは、降下勾配のない事前訓練されたチェックポイントを組み合わせることで、マグニチュード・オブ・マグニチュードの削減と再トレーニングを提供する。 既存の重み空間マージ法では整列整合型チェックポイントが仮定されるのに対し、ViT(Vision Transformer)とSSM(State-space Model)は異なる演算子とトークンミキシングを実装している。 パラメータ群をセマンティックな役割で整列させながら両方のアーキテクチャを維持できるハイブリッドな不均一なマージ設定について検討する。
• 参考スコア（独自算出の注目度）: 3.183924309596046
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Scaling deep learning faces critical bottlenecks: data exhaustion, exponential training costs, and resource concentration. Model merging combines pre-trained checkpoints without gradient descent, offering orders-of-magnitude savings versus retraining. Combining independently trained vision models is difficult when their architectures and parameter shapes differ. Existing weight-space merging methods generally assume aligned, shape-compatible checkpoints, whereas a Vision Transformer (ViT) and a state-space model (SSM) implement token mixing with different operators. We study a hybrid Heterogeneous merging setting that retains both architectures while aligning parameter groups by semantic role. Our proposed Riemannian--Lorentz Parameter Fusion (RLPF) method projects aligned groups to common coordinates, lifts selected coordinates to the Lorentz hyperboloid model of hyperbolic space, computes a regularized geodesic barycenter, and decodes the result into the two branches. A learned gate then combines branch logits for each input. Component groups use fixed curvature values, with normalization parameters treated as Euclidean. In the results available in this manuscript, the fine-tuned system obtains 82.37\% on CIFAR-10, 75.04\% on Oxford-IIIT Pet, and 78.58\% top-1 accuracy on ImageNet-1K; the corresponding best-parent accuracies are 76.54\%, 71.42\%, and 76.42\%. On ImageNet-1K, the reported pre-fine-tuning initialization reaches 77.80\%. These results support further study of geometry-aware heterogeneous fusion, but not a training-free single-checkpoint merge: RLPF is a two-branch hybrid whose gate and reported final models are trained.
• Abstract（参考訳）: ディープラーニングのスケールアップは、データの枯渇、指数的トレーニングコスト、リソース集中といった、重大なボトルネックに直面します。 モデルマージは、勾配降下のない事前訓練されたチェックポイントを組み合わせて、マグニチュード・オブ・マグニチュード・セーブと再トレーニングを提供する。 アーキテクチャとパラメータ形状が異なる場合、独立して訓練された視覚モデルを組み合わせることは困難である。 既存の重み空間のマージ法は一般に整列した形状のチェックポイントを仮定するが、ViT(Vision Transformer)とSSM(State-space Model)は異なる演算子とのトークン混合を実装している。 パラメータ群をセマンティックな役割で整列させながら両方のアーキテクチャを維持できるハイブリッドな不均一なマージ設定について検討する。 提案したRiemannian--Lorentz Parameter Fusion (RLPF) 法は、群を共通座標に整列させ、選択された座標を双曲空間のローレンツ双曲モデルに上げ、正規化された測地線中心を計算し、その結果を2つの枝に復号する。 学習されたゲートは、各入力に分岐ロジットを結合する。 成分群は固定曲率値を使用し、正規化パラメータはユークリッドとして扱われる。 CIFAR-10では82.37.%、オックスフォード-IIIT Petでは75.04.%、ImageNet-1Kでは78.58.%の精度で、対応する最良の精度は76.54.%、71.42.%、76.42.%である。 ImageNet-1Kでは、事前に調整された初期化が77.80\%に達すると報告されている。 これらの結果は、幾何学的不均一核融合のさらなる研究を支持するが、訓練のない単一チェックポイントマージではない: RLPFは、ゲートと報告された最終モデルが訓練された2分岐ハイブリッドである。

関連論文リスト

• MANGO-Grasp: Mahalanobis Fields over Geometry-Oriented 3D Gaussians for Cross-Embodiment Dexterous Grasping [82.63833405368159]
  クロス・エボディメント・デキスタラス・グルーピングは、異種多指ハンド間の安定したグルーピングを、エンボディメント固有のチューニングをほとんど、あるいは全く行わずに合成することを目的としている。 物体を幾何学指向の3Dガウスプリミティブとして、ロボットハンドをモルフォキネマティックな記述子に符号化した表面キーポイントとして表現する異方性相互作用フレームワークであるMANGO-Graspを提案する。
  論文  参考訳（メタデータ） (2026-08-03T10:12:15Z)
• SPARE: Structural Parameter-Free Affinity Regularization for Flow Matching [30.43836162456455]
  内部表現の正規化は効果的な加速器として現れているが、既存の手法は相補的なコストで2つのファミリーに分かれている。 構造について提案する。 Free Affinity Regularization (SPARE) は、中間トークンのペアの親和性とクリーンな潜在性の親和性とを一致させる正規化器である。 ImageNetでは、400Kレートの予算でSiTバックボーンと$256の256$で、SPAREはエンコーダ、ヘッド、パラメータを追加せず、トレーニングメモリはわずか0.08GBである。
  論文  参考訳（メタデータ） (2026-08-03T09:50:51Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• SliceGraph: Mapping Process Isomers in Multi-Run Chain-of-Thought Reasoning [60.650808962786364]
  我々は、CoTスライス間の疎活性化キージャカード類似性に対して、相互kNNによって構築された問題モデル-セルグラフであるSliceGraphを提案する。 同じ正規化された回答を共有する正しいCoTは、複数のプロセスファミリに分割されていることを示す。 また、プロセスファミリは、一致したnull制御の下で異なる遷移カーネルで同じアトラスをナビゲートすることを示す。
  論文  参考訳（メタデータ） (2026-05-14T09:37:26Z)
• iMatcher: Improve matching in point cloud registration via local-to-global geometric consistency learning [2.3985192761907643]
  iMatcherは、ポイントクラウド登録における機能マッチングのためのフレームワークである。 局所的および大域的整合性を用いて、ポイントワイドマッチング確率を予測する。 KITTIでは95%-97%、KITTI-360では94%-97%、3DMatchでは81.1%である。
  論文  参考訳（メタデータ） (2025-09-10T20:25:57Z)
• Gradients: When Markets Meet Fine-tuning -- A Distributed Approach to Model Optimisation [2.3689955632456092]
  70Mから70Bパラメータのモデル間で180の微調整タスクをテストした結果,HuggingFace AutoTrain, TogetherAI, Databricks, Google Cloudのサブ最適化構成が一貫して生成されていることがわかった。 実験では、GradientsがO togetherAI、Databricks、Google Cloudに対して100%勝利し、HuggingFace AutoTrainを82.8%で破った。
  論文  参考訳（メタデータ） (2025-06-09T17:00:38Z)
• Efficient Multi-Task Inferencing: Model Merging with Gromov-Wasserstein Feature Alignment [7.436562917907035]
  本稿では,Gromov-Wasserstein Scoring Model Merging (GW-SMM)法を提案する。 グロモフ=ワッサーシュタイン距離で測定された特徴分布の類似性に基づいてモデルをマージする。 我々は,人間の知識に対するアプローチとGPT-o1をベースとしたマージ手法の検証を行った。
  論文  参考訳（メタデータ） (2025-03-12T19:20:33Z)
• Hyperspherical Classification with Dynamic Label-to-Prototype Assignment [5.978350039412277]
  トレーニング中に各プロトタイプに割り当てられたカテゴリを最適化する,シンプルで効果的な手法を提案する。 この最適化は、勾配降下とバイパルチドマッチングの逐次組み合わせを用いて解決する。 CIFAR-100では1.22%の精度で、ImageNet-200では2.15%の精度で競合他社よりも優れています。
  論文  参考訳（メタデータ） (2024-03-25T17:01:34Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Learning Cross-view Geo-localization Embeddings via Dynamic Weighted Decorrelation Regularization [52.493240055559916]
  クロスビュージオローカライゼーションは、ドローンプラットフォームと衛星プラットフォームという2つのプラットフォームから撮影された同じ位置の画像を見つけることを目的としている。 既存の手法は、通常、特徴空間内の他のものとの埋め込み距離を最適化することに焦点を当てる。 本稿では、低冗長性も重要であり、モデルがより多様なパターンをマイニングする動機となっていると論じる。
  論文  参考訳（メタデータ） (2022-11-10T02:13:10Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。