Fugu-MT 論文翻訳(概要): Addressing Negative Transfer in Diffusion Models

論文の概要: Addressing Negative Transfer in Diffusion Models

arxiv url: http://arxiv.org/abs/2306.00354v3
Date: Sat, 30 Dec 2023 13:50:02 GMT
ステータス: 処理完了
システム内更新日: 2024-01-03 02:19:34.306356
Title: Addressing Negative Transfer in Diffusion Models
Title（参考訳）: 拡散モデルにおける負転移の対応
Authors: Hyojun Go, JinYoung Kim, Yunsung Lee, Seunghyun Lee, Shinhyeok Oh, Hyeongdon Moon, Seungtaek Choi
Abstract要約: マルチタスク学習(MTL)は拡散モデルにおいて負の伝達をもたらすことがある。本稿では,タスクを小さなタスククラスタにクラスタ化し,MTL手法を適用することを提案する。本研究では,信号対雑音比,時間ステップ,タスク親和性を利用して,動的プログラミングを用いて区間クラスタリングを解くことができることを示す。
参考スコア（独自算出の注目度）: 25.457422246404853
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Diffusion-based generative models have achieved remarkable success in various domains. It trains a shared model on denoising tasks that encompass different noise levels simultaneously, representing a form of multi-task learning (MTL). However, analyzing and improving diffusion models from an MTL perspective remains under-explored. In particular, MTL can sometimes lead to the well-known phenomenon of negative transfer, which results in the performance degradation of certain tasks due to conflicts between tasks. In this paper, we first aim to analyze diffusion training from an MTL standpoint, presenting two key observations: (O1) the task affinity between denoising tasks diminishes as the gap between noise levels widens, and (O2) negative transfer can arise even in diffusion training. Building upon these observations, we aim to enhance diffusion training by mitigating negative transfer. To achieve this, we propose leveraging existing MTL methods, but the presence of a huge number of denoising tasks makes this computationally expensive to calculate the necessary per-task loss or gradient. To address this challenge, we propose clustering the denoising tasks into small task clusters and applying MTL methods to them. Specifically, based on (O2), we employ interval clustering to enforce temporal proximity among denoising tasks within clusters. We show that interval clustering can be solved using dynamic programming, utilizing signal-to-noise ratio, timestep, and task affinity for clustering objectives. Through this, our approach addresses the issue of negative transfer in diffusion models by allowing for efficient computation of MTL methods. We validate the efficacy of proposed clustering and its integration with MTL methods through various experiments, demonstrating 1) improved generation quality and 2) faster training convergence of diffusion models.
Abstract（参考訳）: 拡散に基づく生成モデルは様々な領域で顕著な成功を収めている。マルチタスク学習(MTL)の形式を表現するために、異なるノイズレベルを同時に含むタスクの認知に関する共有モデルを訓練する。しかし、MTLの観点からの拡散モデルの解析と改善はいまだに未検討である。特に、mtlはよく知られた負の伝達現象につながり、タスク間の衝突によって特定のタスクのパフォーマンスが低下することがある。本稿では,MTL の観点から拡散訓練を解析し,(O1) 雑音レベルの差が大きくなるにつれてタスク間のタスク親和性が低下し,(O2) 負の伝達が拡散訓練においても生じるという2つの重要な観察結果を示す。これらの観測に基づいて、負の伝達を緩和することで拡散訓練を強化することを目指している。これを実現するために,既存のMLL手法の活用を提案するが,膨大なタスクが存在するため,タスク毎の損失や勾配を計算するのに計算コストがかかる。この課題に対処するために,タスクを小さなタスククラスタにクラスタ化し,MTLメソッドを適用することを提案する。具体的には、(O2)に基づいて、クラスタ内のタスク間の時間的近接を強制するために間隔クラスタリングを用いる。本研究では,信号対雑音比,時間ステップ,タスク親和性を用いて,動的計画法を用いて区間クラスタリングを解決できることを示す。本手法は,mtl法の効率的な計算を可能にすることにより,拡散モデルにおける負の伝達問題に対処する。提案するクラスタリングの有効性とmtl法との統合を各種実験により検証し,実証した。 1) 世代品質と品質の向上 2)拡散モデルのより高速な訓練収束。

関連論文リスト

SGW-based Multi-Task Learning in Vision Tasks [8.459976488960269]
データセットの規模が拡大し、タスクの複雑さが増すにつれ、知識の共有はますます困難になってきている。情報ボトルネック知識抽出モジュール(KEM)を提案する。このモジュールは,情報の流れを制約することでタスク間干渉を減らすことを目的としており,計算複雑性を低減する。
論文参考訳（メタデータ） (2024-10-03T13:56:50Z)
Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
論文参考訳（メタデータ） (2024-06-12T08:30:16Z)
DiffusionMTL: Learning Multi-Task Denoising Diffusion Model from Partially Annotated Data [16.501973201535442]
我々は,部分ラベル付きマルチタスクの高密度予測を画素レベルの分解問題として再検討する。本稿では,DiffusionMTLと呼ばれる新しいマルチタスク・デノナイズ・フレームワークを提案する。タスク予測や特徴写像の潜在的なノイズ分布をモデル化するために、共用拡散・雑音化パラダイムを設計する。
論文参考訳（メタデータ） (2024-03-22T17:59:58Z)
Denoising Task Routing for Diffusion Models [19.373733104929325]
拡散モデルは、多段階の復調過程を学習することにより、非常にリアルな画像を生成する。拡散モデルとマルチタスク学習(MTL)の間に固有のつながりがあるにもかかわらず、ニューラルネットワークの設計には未解明領域が残っている。本稿では,既存の拡散モデルアーキテクチャのためのシンプルなアドオン戦略であるDenoising Task Routing(DTR)について述べる。
論文参考訳（メタデータ） (2023-10-11T02:23:18Z)
Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文参考訳（メタデータ） (2023-10-04T09:39:05Z)
AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文参考訳（メタデータ） (2023-10-04T04:26:33Z)
DiffusionTrack: Diffusion Model For Multi-Object Tracking [15.025051933538043]
マルチオブジェクトトラッキング(MOT)は、単一のフレーム内の個々のオブジェクトを検出し、それらを複数のフレーム間で関連付けることを目的とした、難しい視覚タスクである。近年のMOT法は,2段階追跡検出法(TBD)と1段階関節検出追跡法(JDT)に分類できる。本稿では,オブジェクト検出と結合を一貫した認知拡散過程として定式化する,単純だが堅牢なフレームワークを提案する。
論文参考訳（メタデータ） (2023-08-19T04:48:41Z)
Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文参考訳（メタデータ） (2023-06-21T18:49:22Z)
Mitigating Negative Transfer in Multi-Task Learning with Exponential Moving Average Loss Weighting Strategies [0.981328290471248]
MTL(Multi-Task Learning)は、ディープラーニングへの関心が高まっている分野である。特定のタスクがトレーニングを支配し、他のタスクのパフォーマンスを損なう可能性があるため、MTLは実用的ではない。指数移動平均によるスケーリングに基づく損失分散手法を提案する。
論文参考訳（メタデータ） (2022-11-22T09:22:48Z)
Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth [83.94528876742096]
我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
論文参考訳（メタデータ） (2022-06-21T17:40:55Z)
Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文参考訳（メタデータ） (2022-02-02T13:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。