論文の概要: LISA: Likelihood Score Alignment for Visual-condition Controllable Generation
- arxiv url: http://arxiv.org/abs/2606.27192v1
- Date: Thu, 25 Jun 2026 15:52:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.337846
- Title: LISA: Likelihood Score Alignment for Visual-condition Controllable Generation
- Title（参考訳）: LISA:ビジュアル・コンディショナブル・ジェネレーションのための類似スコアアライメント
- Abstract要約: サイドブランチの役割とトレーニングの効率性はまだ未熟である。
側ネットワークの中間的特徴を近似的確率スコアと整合させるために,LISA(LIkelihood Score Alignment)を提案する。
LISAはトレーニング収束を継続的に加速し、最終的な合成結果を改善することができる。
- 参考スコア（独自算出の注目度）: 17.481992346568177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The prevalent dual-branch paradigm, i.e., training a side network to encode visual conditions and fusing its intermediate-layer features to a frozen pretrained main network, has shown remarkable success in visual-condition controllable generation. Despite its widespread adoption, the role of the side branch and its training efficiency remain underexplored. In this paper, we first revisit this mainstream paradigm through the lens of score-based generative modeling: 1) The main network preserves visual perceptual quality by providing a prior unconditional score. 2) The side network steers conditional control by implicitly contributing a likelihood score. Guided by this perspective, we propose LIkelihood Score Alignment (LISA), an effective regularization method that explicitly aligns the intermediate feature of the side network with an approximated likelihood score. Specifically, we first hook features from a designated layer of the side network and project them into the score latent space by a lightweight decoder. Then, we construct an approximated likelihood score target and calculate the distance between the decoder's output and this target as an additional regularization loss. Finally, we jointly optimize the side network and decoder with both standard diffusion loss and our regularization loss. Experiments across various image/video tasks, architectures, and diffusion/flow models demonstrated that LISA can not only consistently accelerate the training convergence and improve final synthetic results, but also encourage the side network's features to be more disentangled for conditional modeling with negligible additional training cost and zero extra inference cost.
- Abstract（参考訳）: 一般的なデュアルブランチパラダイム、すなわち、視覚条件を符号化するためにサイドネットワークを訓練し、中間層の特徴を凍結した事前訓練されたメインネットワークに融合させることにより、視覚条件制御可能生成において顕著な成功を収めた。
広く採用されているにも拘わらず、サイドブランチの役割とその訓練効率は未熟である。
本稿では、スコアベース生成モデリングのレンズを通して、この主流パラダイムを再考する。
1)主ネットワークは、事前の無条件スコアを提供することで視覚的知覚品質を保っている。
2) 側ネットワークは, 確率スコアを暗黙的に寄与することにより条件制御を行う。
この観点から導いたLIkelihood Score Alignment (LISA) は、サイドネットワークの中間的特徴と近似された確率スコアを明示的に整列する効果的な正規化手法である。
具体的には、まず、サイドネットワークの指定された層から特徴をフックし、それらを軽量デコーダによってスコア潜在空間に投影する。
そして、近似された確率スコアターゲットを構築し、デコーダの出力とこのターゲットの間の距離を加算正規化損失として計算する。
最後に、標準拡散損失と正規化損失の両方を伴って、サイドネットワークとデコーダを協調的に最適化する。
様々な画像/ビデオタスク、アーキテクチャ、拡散/フローモデルにわたる実験により、LISAはトレーニング収束を一貫して加速し、最終的な合成結果を改善するだけでなく、追加のトレーニングコストと余分な推論コストを無視できる条件付きモデリングのために、サイドネットワークの機能をより複雑にすることを奨励できることを示した。
関連論文リスト
- LCPNet: Latent Consistent Proximal Unfolding Network for Infrared Small Target Detection [50.3892176822492]
赤外線小目標検出(IRSTD)は、複雑な赤外背景から長距離小目標を特定することを目的としている。
深層学習法は、識別的画像-マスクマッピングを学習することでIRSTDを改善した。
深層展開法は、モデル駆動イテレーションをニューラルネットワークに埋め込むことによって、この問題に部分的に対処する。
これらの制約に対処するために,Latent Consistent Proximal Unfolding Network (LCPNet)を提案する。
論文 参考訳（メタデータ） (2026-07-06T02:15:09Z) - Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。
近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。
我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
論文 参考訳（メタデータ） (2026-04-01T14:32:15Z) - Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning [116.75939193785143]
画像領域における視覚変換器(ViT)のコントラスト学習(CL)は、従来の畳み込みバックボーンのCLに匹敵する性能を達成した。
ViTで事前訓練した3Dポイントクラウドでは、マスク付きオートエンコーダ(MAE)モデリングが主流である。
論文 参考訳（メタデータ） (2024-07-08T12:28:56Z) - Correlation-Aware Deep Tracking [83.51092789908677]
本稿では,自己/横断的意図に着想を得た,新たなターゲット依存型特徴ネットワークを提案する。
我々のネットワークは機能ネットワークの複数の層にクロスイメージの特徴相関を深く埋め込んでいる。
我々のモデルは、豊富な未ペア画像に対して柔軟に事前訓練が可能であり、既存の手法よりも顕著に高速な収束をもたらす。
論文 参考訳（メタデータ） (2022-03-03T11:53:54Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳（メタデータ） (2021-11-25T19:59:33Z) - Keep the Gradients Flowing: Using Gradient Flow to Study Sparse Network
Optimization [16.85167651136133]
スパースネットワークのトレーニングについて、より広い視点で考察し、スパースモデルにおける正規化、最適化、アーキテクチャ選択の役割について考察する。
アーキテクチャ設計とトレーニング体制の側面を再考することにより,スパースネットワーク内の勾配流を改善することができることを示す。
論文 参考訳（メタデータ） (2021-02-02T18:40:26Z) - Cascade Network with Guided Loss and Hybrid Attention for Finding Good
Correspondences [33.65360396430535]
画像対の対応セットが与えられた場合、バイナリクラス分類器によって正しい対応を見つけるニューラルネットワークを提案する。
対象関数を動的に調整するためのガイダンスとして評価基準(Fn測度)を直接利用できる新しいガイド付き損失を提案する。
次に、ベイズ文脈正規化(BACN)とチャネルワイドアテンション(CA)を統合した特徴抽出のためのハイブリッドアテンションブロックを提案する。
論文 参考訳（メタデータ） (2021-01-31T08:33:20Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。