論文の概要: Teamwork: Collaborative Diffusion with Low-rank Coordination and Adaptation
- arxiv url: http://arxiv.org/abs/2510.05532v1
- Date: Tue, 07 Oct 2025 02:44:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 17:57:08.076261
- Title: Teamwork: Collaborative Diffusion with Low-rank Coordination and Adaptation
- Title(参考訳): チームワーク: 低ランクの調整と適応による協調的拡散
- Authors: Sam Sartor, Pieter Peers,
- Abstract要約: ニューラルレンダリングやSVBRDF推定や本質的な画像分解といった逆法などの生成アプリケーションは、追加の入力や出力チャネルを必要とする。
チャネル拡張の現在のソリューションは、しばしば応用に特化しており、異なる拡散モデルや新しいタスクに適応することが困難である。
本稿では、入力チャネルと出力チャネルの数を共同で増やすフレキシブルで効率的な統合ソリューションであるTeamworkを紹介する。
- 参考スコア(独自算出の注目度): 6.4408306031524125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large pretrained diffusion models can provide strong priors beneficial for many graphics applications. However, generative applications such as neural rendering and inverse methods such as SVBRDF estimation and intrinsic image decomposition require additional input or output channels. Current solutions for channel expansion are often application specific and these solutions can be difficult to adapt to different diffusion models or new tasks. This paper introduces Teamwork: a flexible and efficient unified solution for jointly increasing the number of input and output channels as well as adapting a pretrained diffusion model to new tasks. Teamwork achieves channel expansion without altering the pretrained diffusion model architecture by coordinating and adapting multiple instances of the base diffusion model (\ie, teammates). We employ a novel variation of Low Rank-Adaptation (LoRA) to jointly address both adaptation and coordination between the different teammates. Furthermore Teamwork supports dynamic (de)activation of teammates. We demonstrate the flexibility and efficiency of Teamwork on a variety of generative and inverse graphics tasks such as inpainting, single image SVBRDF estimation, intrinsic decomposition, neural shading, and intrinsic image synthesis.
- Abstract(参考訳): 大規模な事前学習拡散モデルは、多くのグラフィックスアプリケーションに有益な強力な事前情報を提供することができる。
しかし、ニューラルレンダリングやSVBRDF推定や本質的な画像分解といった逆手法のような生成的応用には、追加の入力チャネルや出力チャネルが必要である。
チャネル拡張の現在のソリューションは、しばしば応用に特化しており、これらのソリューションは異なる拡散モデルや新しいタスクに適応することが困難である。
本稿では,入力チャネルと出力チャネルの数を増やしたり,事前学習した拡散モデルを新しいタスクに適用したりするための,フレキシブルで効率的な統合ソリューションであるTeamworkを紹介する。
チームワークは、ベース拡散モデルの複数のインスタンス(\ie, teammates)をコーディネートし、適応することによって、事前訓練された拡散モデルアーキテクチャを変更することなく、チャネル拡張を実現する。
我々は、異なるチームメイト間の適応と調整の両方に共同で対処するために、新しいローランク適応(LoRA)を用いています。
さらに、チームワークはチームメイトの動的(デアクティベーション)をサポートする。
チームワークの柔軟性と効率性について,インペイント,単一画像SVBRDF推定,内在的分解,ニューラルシェーディング,内在的画像合成など,多種多様な生成および逆グラフィックタスクについて示す。
関連論文リスト
- Do We Need to Design Specific Diffusion Models for Different Tasks? Try ONE-PIC [77.8851460746251]
本稿では,超音速拡散モデルに対する単純,効率的,汎用的なアプローチを提案する。
ONE-PICは、追加モジュールを導入することなく、事前訓練された拡散モデルにおける継承された生成能力を向上する。
本手法は,適応プロセスの合理化を図り,低コストで優れた性能を実現する,シンプルで効率的な手法である。
論文 参考訳(メタデータ) (2024-12-07T11:19:32Z) - DiffSG: A Generative Solver for Network Optimization with Diffusion Model [75.27274046562806]
生成拡散モデルは、様々なクロスドメインアプリケーションで人気がある。
これらのモデルは複雑なネットワーク最適化問題に対処する上で有望である。
本稿では拡散モデルに基づく解生成という,拡散モデル生成のための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-08-13T07:56:21Z) - Image Neural Field Diffusion Models [46.781775067944395]
本稿では,画像ニューラルネットワーク上での拡散モデルのトレーニングにより連続画像の分布を学習することを提案する。
画像ニューラル場拡散モデルは、混合分解能画像データセットを用いて訓練でき、固定分解能拡散モデルよりも優れており、異なるスケールで適用された条件で効率よく逆問題を解くことができることを示す。
論文 参考訳(メタデータ) (2024-06-11T17:24:02Z) - E$^{2}$GAN: Efficient Training of Efficient GANs for Image-to-Image Translation [69.72194342962615]
拡散モデルからGANを蒸留するプロセスは、より効率的にできるのか?
まず、一般化された特徴を持つベースGANモデルを構築し、微調整により異なる概念に適応し、スクラッチからトレーニングの必要性を排除した。
第2に,ベースモデル全体の微調整を行うのではなく,低ランク適応(LoRA)を簡易かつ効果的なランク探索プロセスで行う。
第3に、微調整に必要な最小限のデータ量を調査し、トレーニング時間を短縮する。
論文 参考訳(メタデータ) (2024-01-11T18:59:14Z) - Phasic Content Fusing Diffusion Model with Directional Distribution
Consistency for Few-Shot Model Adaption [73.98706049140098]
本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。
具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。
最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
論文 参考訳(メタデータ) (2023-09-07T14:14:11Z) - Collaborative Diffusion for Multi-Modal Face Generation and Editing [34.16906110777047]
本稿では,事前学習した単モーダル拡散モデルと協調して複数モーダル顔の生成と編集を行うコラボレーティブ拡散について述べる。
具体的には、事前学習された各ユニモーダルモデルに対する空間的時間的影響関数を予測することにより、マルチモーダルな認知ステップを適応的に幻覚するメタネットワークである動的ディフューザを提案する。
論文 参考訳(メタデータ) (2023-04-20T17:59:02Z) - Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。
提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
論文 参考訳(メタデータ) (2020-09-18T17:52:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。