論文の概要: Orthogonal Yet Coupled: Decoupling Geometric Components for Model Merging

• arxiv url: http://arxiv.org/abs/2609.37564v1
• Date: Tue, 29 Sep 2026 13:33:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.563366
• Title: Orthogonal Yet Coupled: Decoupling Geometric Components for Model Merging
• Title（参考訳）: 直交的な結合: モデルマージのための幾何学的成分の分離
• Abstract要約: DiGAは、Distangled Geometry-Awareモデルマージフレームワークである。 それぞれのタスクベクトルを、異なる幾何学的属性に対応するコンポーネントに分解する。 既存のモデルマージ手法の幅広い範囲に組み込むことができる。
• 参考スコア（独自算出の注目度）: 68.13982447683554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Merging pretrained models has emerged as an effective approach for consolidating diverse capabilities into a single unified model. However, prevailing merging methods typically treat each task vector as an indivisible merging unit, overlooking the heterogeneous geometric changes encoded within it. This treatment can induce cross-component coupling: when merging decisions are derived from statistics of the complete task vector, the geometric characteristics of one component may influence how another is selected, weighted, or combined, potentially degrading the quality of the merged model. To address this issue, we propose DiGA, a Disentangled Geometry-Aware model merging framework. Using the pretrained weights as a shared geometric reference, DiGA orthogonally decomposes each task vector into components corresponding to distinct geometric attributes. Rather than merging the task vectors as a whole, DiGA aggregates corresponding components independently within their respective subspaces and subsequently recombines them into a unified update. This component-wise formulation preserves the geometric identity of each component and prevents the characteristics of one component from interfering with the aggregation of another. Furthermore, DiGA can be incorporated into a broad range of existing model merging methods. Extensive experiments across diverse models, tasks, and merging methods demonstrate that DiGA improves merged-model performance and reduces capability degradation. Our repository is on https://github.com/wzj1718/DiGA.
• Abstract（参考訳）: 事前訓練されたモデルをマージすることは、多様な機能を単一の統一モデルに統合するための効果的なアプローチとして現れている。 しかし、一般的なマージング法は、通常、各タスクベクトルを分割不能マージング単位として扱い、その内部に符号化された異質な幾何学的変化を見渡す。 この処理は、統合決定が完全なタスクベクトルの統計から導出されるとき、あるコンポーネントの幾何学的特性が、別のコンポーネントがどのように選択され、重み付けされ、あるいは結合され、マージされたモデルの品質が劣化する可能性があるかに影響を与える可能性がある。 この問題に対処するため,Distangled Geometry-Awareモデル統合フレームワークであるDiGAを提案する。 事前訓練された重みを共有幾何学的参照として使用し、DiGAは各タスクベクトルを異なる幾何学的属性に対応するコンポーネントに直交的に分解する。 タスクベクトル全体をマージする代わりに、DiGAは対応するコンポーネントをそれぞれのサブ空間内で独立に集約し、その後、それらを統一された更新に再結合する。 このコンポーネント単位の定式化は、各コンポーネントの幾何学的同一性を保持し、一方のコンポーネントの特性が他方のアグリゲーションに干渉することを防止する。 さらに、DiGAは既存のモデルマージ手法の幅広い範囲に組み込むことができる。 多様なモデル、タスク、およびマージメソッドにわたる大規模な実験は、DiGAがマージモデルの性能を改善し、能力劣化を低減することを示す。 私たちのリポジトリはhttps://github.com/wzj1718/DiGAにあります。

関連論文リスト

• Learning Propagation Geometry from Message-Passing Feedback [58.684834960683226]
  GeoFは、メッセージパッシングフィードバックを通じてノード機能と伝搬幾何学を進化させる、反復的なフレームワークである。 ベンチマークデータセットの実験は、GeoFが最先端のGNNベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-09-28T09:22:49Z)
• Rethinking Heterogeneous LLM Merging: A Weighted Model Averaging Perspective [41.30735431552607]
  異種融合法は通常、アダプタ、学習された潜在空間、ルーティング、機能アライメントを導入する。 学習自由次元適応と比制御比による反直感的質問を再考する。 その結果, 簡易パラメータ平均化は, 軽量次元適応と慎重に制御された比とを組み合わせれば, 不均一なマージに対する驚くほど強力なベースラインであることが示唆された。
  論文  参考訳（メタデータ） (2026-07-20T14:58:53Z)
• Scalable Peptide Design via Memory-Efficient Equivariant Transformer [44.385833887269456]
  スケーラブルな原子性ペプチドモデリングのためのE(3)不変バックボーンであるMEET(Memory Efficient Equivariant Transformer)を紹介する。 MEETは、メモリ効率のよい注意に関する幾何計算を再構成しながら、不変スカラーと等変ベクトルの特徴ストリームの結合を維持している。 完全な原子ペプチド生成のためのVAEおよび潜伏拡散パイプラインに統合される。 大規模AFDB派生データセットの実験は、提案されたバックボーンが体系的なモデルとデータスケーリングをサポートし、バインド親和性、物理的妥当性、サンプルの多様性が向上することを示している。
  論文  参考訳（メタデータ） (2026-06-23T17:25:04Z)
• GEAR: GEometry-motion Alternating Refinement for Articulated Object Modeling with Gaussian Splatting [47.344503859540914]
  GEARは、幾何学と運動を相互依存成分として共同でモデル化するEMスタイルの交互最適化フレームワークである。 GEARは部分セグメンテーションを潜在変数として扱い、関節運動パラメータを明示変数として扱い、コンバージェンスと幾何運動の整合性を改善するためにそれらを交互に精製する。 複数のベンチマークと新たに構築したデータセットGEAR-Multiによる実験により、GEARは幾何再構成と運動パラメータ推定において最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2026-04-09T02:24:39Z)
• DC-Merge: Improving Model Merging with Directional Consistency [62.02490833158024]
  DC-Mergeは方向整合モデルマージの手法である。 各タスクベクトルのエネルギー分布は、その特異値を滑らかにすることで均衡する。 ビジョンとビジョン言語ベンチマークの実験では、DC-Mergeは一貫して最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-03-06T13:04:25Z)
• Inverting Self-Organizing Maps: A Unified Activation-Based Framework [39.146761527401424]
  我々は,SOMの活性化パターンを逆転させて,微妙な幾何学的条件下での正確な入力を復元できることを示す。 我々は,MUSIC (Manifold-Aware Unified SOM Inversion and Control) 更新ルールを導入する。 合成ガウス混合系, MNIST と Faces in the Wild を用いたアプローチを検証した。
  論文  参考訳（メタデータ） (2026-01-20T11:02:54Z)
• PRISM: Probabilistic Representation for Integrated Shape Modeling and Generation [79.46526296655776]
  PRISMは、カテゴリー拡散モデルと統計的形状モデル(SSM)とガウス混合モデル(GMM)を統合した3次元形状生成の新しいアプローチである 本手法では,構成SSMを用いて部分レベルの幾何学的変動をキャプチャし,GMMを用いて連続空間における部分意味を表現する。 提案手法は,パートレベルの操作の品質と制御性の両方において,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-04-06T11:48:08Z)
• Geometric Clifford Algebra Networks [53.456211342585824]
  本稿では,動的システムのモデリングのためのGeometric Clifford Algebra Networks (GCANs)を提案する。 GCANは幾何学的(クリフォード)代数を用いた対称性群変換に基づいている。
  論文  参考訳（メタデータ） (2023-02-13T18:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。