論文の概要: OrthoFuse: Training-free Riemannian Fusion of Orthogonal Style-Concept Adapters for Diffusion Models

• arxiv url: http://arxiv.org/abs/2604.05183v1
• Date: Mon, 06 Apr 2026 21:24:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.499764
• Title: OrthoFuse: Training-free Riemannian Fusion of Orthogonal Style-Concept Adapters for Diffusion Models
• Title（参考訳）: OrthoFuse: 拡散モデルのための直交型概念適応器の訓練不要リーマン核融合
• Authors: Ali Aliev, Kamil Garifullin, Nikolay Yudin, Vera Soboleva, Alexander Molozhavenko, Ivan Oseledets, Aibek Alanov, Maxim Rakhuba,
• Abstract要約: 異なるタスク用に調整された複数のアダプタを、両方のタスクに対して適切な結果を得ることができるアダプタに組み合わせる方法について説明する。 本稿では,高品位核融合用マージアダプタのスペクトル特性を復元する$textspectra restoration$ transformを提案する。
• 参考スコア（独自算出の注目度）: 42.45750093365667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a rapidly growing field of model training there is a constant practical interest in parameter-efficient fine-tuning and various techniques that use a small amount of training data to adapt the model to a narrow task. However, there is an open question: how to combine several adapters tuned for different tasks into one which is able to yield adequate results on both tasks? Specifically, merging subject and style adapters for generative models remains unresolved. In this paper we seek to show that in the case of orthogonal fine-tuning (OFT), we can use structured orthogonal parametrization and its geometric properties to get the formulas for training-free adapter merging. In particular, we derive the structure of the manifold formed by the recently proposed Group-and-Shuffle ($\mathcal{GS}$) orthogonal matrices, and obtain efficient formulas for the geodesics approximation between two points. Additionally, we propose a $\text{spectra restoration}$ transform that restores spectral properties of the merged adapter for higher-quality fusion. We conduct experiments in subject-driven generation tasks showing that our technique to merge two $\mathcal{GS}$ orthogonal matrices is capable of uniting concept and style features of different adapters. To the best of our knowledge, this is the first training-free method for merging multiplicative orthogonal adapters. Code is available via the $\href{https://github.com/ControlGenAI/OrthoFuse}{link}$.
• Abstract（参考訳）: モデルトレーニングの急速に成長する分野では、パラメータ効率の良い微調整や、少量のトレーニングデータを使用してモデルを狭いタスクに適応させる様々な技術に、常に実践的な関心がある。 しかし、オープンな疑問がある: 異なるタスク用に調整された複数のアダプタを、両方のタスクで適切な結果を得ることができるアダプタにどのように組み合わせるか? 具体的には、生成モデルのための主題とスタイルアダプタの融合は未解決のままである。 本稿では、直交微調整(OFT)の場合、構造的直交パラメトリゼーションとその幾何学的性質を用いて、学習不要なアダプタマージの式を得ることができることを示す。 特に、最近提案された Group-and-Shuffle ($\mathcal{GS}$) 直交行列によって形成される多様体の構造を導出し、2点間の測地近似の効率的な公式を得る。 さらに、より高品質な核融合のためのマージアダプタのスペクトル特性を復元する$\text{spectra restore}$ transformを提案する。 我々は,2つの$\mathcal{GS}$直交行列をマージする手法が,異なるアダプタの概念とスタイルの特徴を統一できることを示す。 我々の知る限りでは、これは乗法直交アダプタをマージするための最初の訓練不要な方法である。 コードは$\href{https://github.com/ControlGenAI/OrthoFuse}{link}$で入手できる。

関連論文リスト

• Efficient Equivariant Transformer for Self-Driving Agent Modeling [23.858855004235128]
  DriveGATrは、エージェントモデリングのためのトランスフォーマーベースのアーキテクチャである。 既存の手法の計算コストを使わずにSE(2)-等分散を実現する。 DriveGATrは、交通シミュレーションにおける最先端技術に匹敵する。
  論文  参考訳（メタデータ） (2026-04-01T23:20:06Z)
• Beyond Adapter Retrieval: Latent Geometry-Preserving Composition via Sparse Task Projection [22.748835458594744]
  本稿では,検索を超越したアダプタ再利用のための新しいフレームワークを提案する。 我々は,各タスクを潜在プロトタイプベクトルで表現し,対象タスクのプロトタイプを,検索した参照プロトタイプの疎線形結合として近似することを目的とする。 結果として得られる組み合わせ重量は、対応するLoRAアダプタをブレンドするために使用され、ターゲットタスクに合わせて調整された複合アダプタが生成される。
  論文  参考訳（メタデータ） (2024-10-13T16:28:38Z)
• Bridging The Gap between Low-rank and Orthogonal Adaptation via Householder Reflection Adaptation [32.371755315509574]
  家庭内リフレクション適応法 (HRA) は, 家庭内リフレクションに基づく簡易かつ効果的な適応法である。 HRAは、大きな言語モデルと条件付き画像生成装置を適用する際に、学習可能なパラメータが少なくて優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-24T16:18:16Z)
• Merging by Matching Models in Task Parameter Subspaces [87.8712523378141]
  モデルマージは、個々のタスク固有のモデルを単一のマルチタスクモデルに安価に結合することを目的としている。 我々は、モデルマージに対するこのアプローチが、方程式の線形系を解くとみなす方法を定式化する。 共役勾配法は閉形式解より優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-07T14:59:15Z)
• Parameter Efficient Multi-task Model Fusion with Partial Linearization [97.23530944186078]
  パラメータ効率のよい微調整技術において,マルチタスク融合を改善する新しい手法を提案する。 提案手法は, アダプタモジュールのみを部分的に線形化し, 線形化アダプタにタスク演算を適用する。 我々の部分線形化手法は、複数のタスクをより効果的に1つのモデルに融合させることを可能にしている。
  論文  参考訳（メタデータ） (2023-10-07T08:55:54Z)
• MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
  モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。 2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-30T12:10:17Z)
• EDGI: Equivariant Diffusion for Planning with Embodied Agents [17.931089055248062]
  身体的エージェントは構造化された世界で動作し、しばしば空間的、時間的、置換的な対称性でタスクを解く。 本稿では,モデルに基づく強化学習のためのアルゴリズムであるEquivariant diffuser for Generating Interactions (EDGI)を紹介する。 EDGI は非同変モデルよりもかなり効率的なサンプルであり、対称性群全体にわたってより一般化される。
  論文  参考訳（メタデータ） (2023-03-22T09:19:39Z)
• Geometric Clifford Algebra Networks [53.456211342585824]
  本稿では,動的システムのモデリングのためのGeometric Clifford Algebra Networks (GCANs)を提案する。 GCANは幾何学的(クリフォード)代数を用いた対称性群変換に基づいている。
  論文  参考訳（メタデータ） (2023-02-13T18:48:33Z)
• Multi-Head Adapter Routing for Cross-Task Generalization [56.75667096355806]
  ポリトロポンは、事前訓練と少数ショット適応の両方の間、各タスクのアダプタのサブセットを選択するルーティング関数とアダプタのインベントリを学習する。 複数タスクの事前学習において、数ショットの適応よりもルーティングの方が有益であることがわかった。
  論文  参考訳（メタデータ） (2022-11-07T19:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。