論文の概要: Bayesian Power Steering: An Effective Approach for Domain Adaptation of Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.03683v1
• Date: Thu, 6 Jun 2024 01:52:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 18:45:29.516772
• Title: Bayesian Power Steering: An Effective Approach for Domain Adaptation of Diffusion Models
• Title（参考訳）: ベイズパワーステアリング:拡散モデルの領域適応に対する効果的なアプローチ
• Authors: Ding Huang, Ting Li, Jian Huang,
• Abstract要約: ベイズパワーステアリング(BPS)と呼ばれる新しいネットワーク構造を持つ大規模拡散モデルの微調整フレームワークを提案する。 BPSは、事前学習された事前分布からタスク固有の知識を抽出する。 大規模な拡散モデルを効率よく利用し、異なる隠れた特徴をヘッドヘビーでフットライトな構成で区別する。
• 参考スコア（独自算出の注目度）: 4.44473720200732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a Bayesian framework for fine-tuning large diffusion models with a novel network structure called Bayesian Power Steering (BPS). We clarify the meaning behind adaptation from a \textit{large probability space} to a \textit{small probability space} and explore the task of fine-tuning pre-trained models using learnable modules from a Bayesian perspective. BPS extracts task-specific knowledge from a pre-trained model's learned prior distribution. It efficiently leverages large diffusion models, differentially intervening different hidden features with a head-heavy and foot-light configuration. Experiments highlight the superiority of BPS over contemporary methods across a range of tasks even with limited amount of data. Notably, BPS attains an FID score of 10.49 under the sketch condition on the COCO17 dataset.
• Abstract（参考訳）: ベイジアンパワーステアリング(BPS)と呼ばれる新しいネットワーク構造を持つ大規模拡散モデルの微調整のためのベイジアンフレームワークを提案する。 本稿では, 学習可能な加群を用いた事前学習モデルの微調整の課題をベイズ的観点から検討する。 BPSは、事前学習された事前分布からタスク固有の知識を抽出する。 大規模な拡散モデルを効率よく利用し、異なる隠れた特徴をヘッドヘビーでフットライトな構成で区別する。 実験は、限られた量のデータであっても、様々なタスクにわたる現代的な手法よりもBPSの方が優れていることを強調している。 特に、BPSはCOCO17データセットのスケッチ条件下で10.49のFIDスコアを取得する。

関連論文リスト

• A Bayesian Approach to Data Point Selection [24.98069363998565]
  データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。 既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:04:13Z)
• Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling [7.084307990641011]
  ベイズ最後の層重みの変分学習に拡散法と暗黙の先行法を組み合わせた新しい手法を提案する。 そこで本手法は,BLLモデルの表現能力を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-08-07T12:59:58Z)
• FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
  我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。 我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。 当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
  論文  参考訳（メタデータ） (2024-03-29T10:38:25Z)
• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Phasic Content Fusing Diffusion Model with Directional Distribution Consistency for Few-Shot Model Adaption [73.98706049140098]
  本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。 具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。 最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-07T14:14:11Z)
• Optimal Transport Model Distributional Robustness [33.24747882707421]
  これまでの研究は主に、データ空間における分散ロバスト性を活用することに焦点を当ててきた。 我々は、最適なロバストな中心モデル分布を学習できる理論を開発する。 我々のフレームワークはSharpness-Aware Minimizationの確率的拡張と見なすことができる。
  論文  参考訳（メタデータ） (2023-06-07T06:15:12Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Crowd Counting via Perspective-Guided Fractional-Dilation Convolution [75.36662947203192]
  本稿では,PFDNetと呼ばれる新しい畳み込みニューラルネットワークを用いた群集カウント手法を提案する。 連続スケールの変動をモデル化することにより、提案したPFDNetは、異なる空間位置に対応するための適切な分数拡張カーネルを選択することができる。 これは、個々の代表スケールのみを考慮した最先端技術の柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2021-07-08T07:57:00Z)
• Bayesian stochastic blockmodeling [0.0]
  この章では、ネットワークデータから大規模なモジュラ構造を抽出するためのベイズ推論の使用について、自己完結した紹介を行っている。 我々は、過度な適合を防止し、モデル選択を可能にする方法でそれらの推論を可能にする非パラメトリックな定式化に焦点を当てる。 本稿では,ネットワークにおけるモジュール構造の検出可能性の基本的限界に光を当て,ブロックモデルを用いてリンクの欠落やスプリアスを予測できることを示す。
  論文  参考訳（メタデータ） (2017-05-29T14:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。