論文の概要: OptIMerge: Optimization-Based Merging of Diffusion Models
- arxiv url: http://arxiv.org/abs/2611.07543v1
- Date: Thu, 05 Nov 2026 06:50:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.574176
- Title: OptIMerge: Optimization-Based Merging of Diffusion Models
- Title（参考訳）: OptIMerge: 最適化に基づく拡散モデルの統合
- Abstract要約: 画像から画像への拡散(I2I)モデルのための勾配に基づく最適化フレームワークであるOptIMergeを紹介する。
OptIMergeは、100～500個の小さな画像に対して多重タスク拡散損失を最小化することにより、高表現性であるがパラメータ効率の合併係数を学習する。
高価なジョイントトレーニングと競合する同時マルチタスク機能を実現し、ゼロショットモデルスープを決定的に上回る。
- 参考スコア（独自算出の注目度）: 25.819774735989643
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The arithmetic merging of weights from multiple task-specific models fine-tuned from a shared base model, commonly known as model souping, has emerged as a popular strategy for multi-task learning without the computational overhead of joint retraining. However, naive scalar weight averaging frequently leads to severe performance degradation when the constituent models learn structurally divergent feature representations, leading to destructive parameter interference. We study this problem in a largely unexplored setting: merging image-to-image (I2I) diffusion models fine-tuned for dense, pixel-accurate tasks such as image restoration. Unlike the large language models (LLMs) and text-to-image (T2I) diffusion models for which most merging methods were developed, I2I experts encode conflicting spatial priors (e.g., anisotropic motion-blur vs. isotropic defocus-blur) in their convolutional filters, where both naive soup and LLM-style element-wise merging introduce visible artifacts. We introduce OptIMerge, a gradient-based optimization framework: instead of relying on heuristic scalars, OptIMerge learns highly expressive, yet parameter-efficient merger coefficients by minimizing a multi-task diffusion loss over a small set of 100-500 images. OptIMerge parameterizes the merge with architecture-aware transformations: for attention layers, a structured low-rank feature alignment with explicit channel biases; for convolutional layers, per-kernel merger coefficients, and a low-rank Cayley transform that aligns channels by orthogonal rotation without distorting the filters. By keeping the experts frozen and optimizing only these lightweight merger parameters (equivalent to <0.4% of the network footprint), OptIMerge achieves simultaneous multi-task capabilities that rival computationally expensive joint training and decisively outperform zero-shot model soups.
- Abstract（参考訳）: 共有ベースモデルから微調整された複数のタスク固有モデルからの重みの算術的マージは、共同学習の計算オーバーヘッドを伴わずにマルチタスク学習の一般的な戦略として現れている。
しかし, 構成モデルが構造的に異なる特徴表現を学習し, 破壊的パラメータ干渉を生じさせると, 高い性能劣化が生じる。
画像復元のような高密度の画素精度のタスクに微調整された画像対像拡散モデル(I2I)をマージする。
大規模な言語モデル(LLM)やテキスト・トゥ・イメージ(T2I)の拡散モデルとは異なり、I2Iの専門家は、畳み込みフィルタにおける空間的先行(例えば、異方性モーションブルーと等方性デフォーカスブルー)の衝突をエンコードする。
我々は、勾配に基づく最適化フレームワークであるOptIMergeを紹介した: ヒューリスティックスカラーに頼る代わりに、100～500枚の小さな画像に対してマルチタスク拡散損失を最小限に抑えて、非常に表現力が高く、パラメータ効率のよい合併係数を学習する。
OptIMergeはアーキテクチャ・アウェア・トランスフォーメーションとマージをパラメータ化する:注意層、明示的なチャネルバイアスを伴う構造化された低ランク特徴アライメント、畳み込み層、カーネルごとのマージ係数、フィルタを歪ませることなく直交回転でチャネルを整列する低ランクケイリー変換。
専門家を凍結させ、これらの軽量な統合パラメータ(ネットワークフットプリントの0.4%に相当する)だけを最適化することで、OptIMergeは計算コストのかかるジョイントトレーニングに匹敵する同時マルチタスク機能を実現し、ゼロショットモデルスープを決定的に上回っている。
関連論文リスト
- Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - ScaleDiff: Higher-Resolution Image Synthesis via Efficient and Model-Agnostic Diffusion [7.233066974580282]
テキストと画像の拡散モデルは、トレーニングの解像度を超える画像を生成する際に、しばしば劣化した性能を示す。
最近のトレーニングフリーな手法は、この制限を緩和することができるが、かなりの計算を必要とする場合や、最近の拡散変換器モデルと互換性がない場合が多い。
本研究では,事前学習した拡散モデルの解法を,追加の訓練なしに拡張するためのモデル非依存かつ高効率なフレームワークであるScaleDiffを提案する。
論文 参考訳（メタデータ） (2025-10-29T17:17:32Z) - Improving Progressive Generation with Decomposable Flow Matching [50.63174319509629]
Decomposable Flow Matching (DFM)は、ビジュアルメディアのプログレッシブな生成のためのシンプルで効果的なフレームワークである。
Imagenet-1k 512pxでは、DFMはベースアーキテクチャよりも35.2%改善され、ベースラインは26.4%向上した。
論文 参考訳（メタデータ） (2025-06-24T17:58:02Z) - Towards Minimizing Feature Drift in Model Merging: Layer-wise Task Vector Fusion for Adaptive Knowledge Integration [14.503741632243646]
マルチタスクモデルマージは、複数のタスク固有のエキスパートからの知識を統一モデルに統合することを目的としている。
既存の手法では、タスク固有の専門家と統一モデルの違いを最小限に抑える。
本稿では,タスク固有の専門家と統一モデルとの間の機能ドリフトを明示的に最小化する手法であるレイヤワイズ・タスクベクトル・マージを提案する。
論文 参考訳（メタデータ） (2025-05-29T08:11:31Z) - Lightweight single-image super-resolution network based on dual paths [0.552480439325792]
ディープラーニングのシングルイメージ超解像(SISR)アルゴリズムには,畳み込みニューラルネットワークとTransformerに基づく2つのモデルがある。
本稿では,2方向相補的畳み込みとトランスフォーマーに基づく,軽量なマルチスケール機能融合ネットワークモデルを提案する。
論文 参考訳（メタデータ） (2024-09-10T15:31:37Z) - Improving Pixel-based MIM by Reducing Wasted Modeling Capability [77.99468514275185]
浅い層から低レベルの特徴を明示的に利用して画素再構成を支援する手法を提案する。
私たちの知る限りでは、等方的アーキテクチャのためのマルチレベル特徴融合を体系的に研究するのは、私たちは初めてです。
提案手法は, 微調整では1.2%, 線形探索では2.8%, セマンティックセグメンテーションでは2.6%など, 大幅な性能向上をもたらす。
論文 参考訳（メタデータ） (2023-08-01T03:44:56Z) - Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。
本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。
LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2022-09-26T22:22:30Z) - Multiscale Deep Equilibrium Models [162.15362280927476]
マルチスケールディープ均衡モデル(MDEQ)を新たに提案する。
MDEQは、複数の特徴分解の平衡点を直接解き、同時に伝播する。
本稿では,Cityscapesデータセットの高解像度画像に対するイメージネット分類とセマンティックセグメンテーションの2つの大規模ビジョンタスクにおけるこのアプローチの有効性について述べる。
論文 参考訳（メタデータ） (2020-06-15T18:07:44Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳（メタデータ） (2020-04-08T09:07:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。