Fugu-MT 論文翻訳(概要): Analysis of Classifier-Free Guidance Weight Schedulers

論文の概要: Analysis of Classifier-Free Guidance Weight Schedulers

arxiv url: http://arxiv.org/abs/2404.13040v1
Date: Fri, 19 Apr 2024 17:53:43 GMT
ステータス: 翻訳完了
システム内更新日: 2024-04-22 14:16:48.946935
Title: Analysis of Classifier-Free Guidance Weight Schedulers
Title（参考訳）: クラシファイアフリー誘導ウェイトスケジューリング器の解析
Authors: Xi Wang, Nicolas Dufour, Nefeli Andreou, Marie-Paule Cani, Victoria Fernandez Abrevaya, David Picard, Vicky Kalogeiton,
Abstract要約: CFGはテキストから画像への拡散モデルへの付着の質と条件を高める。最近の研究は拡散過程を通じて重みが変化し、優れた結果が報告されるが、理性や分析は提供されない。以上の結果から,単調な単調なウェイトスケジューラが常に性能改善につながることが示唆された。
参考スコア（独自算出の注目度）: 17.98398537791448
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Classifier-Free Guidance (CFG) enhances the quality and condition adherence of text-to-image diffusion models. It operates by combining the conditional and unconditional predictions using a fixed weight. However, recent works vary the weights throughout the diffusion process, reporting superior results but without providing any rationale or analysis. By conducting comprehensive experiments, this paper provides insights into CFG weight schedulers. Our findings suggest that simple, monotonically increasing weight schedulers consistently lead to improved performances, requiring merely a single line of code. In addition, more complex parametrized schedulers can be optimized for further improvement, but do not generalize across different models and tasks.
Abstract（参考訳）: Classifier-Free Guidance (CFG) はテキスト・ツー・イメージ拡散モデルの品質と条件適合性を高める。条件付きと条件なしの予測を固定重量で組み合わせて操作する。しかし、最近の研究は拡散過程全体を通して重みが異なり、優れた結果を報告しているが、理性や分析は提供していない。本稿では、総合的な実験を行うことにより、CFGウェイトスケジューラに関する知見を提供する。以上の結果から,単調な単調なウェイトスケジューラが常に性能の向上につながることが示唆された。さらに、より複雑なパラメータ化されたスケジューラはさらなる改善のために最適化できるが、異なるモデルやタスクをまたいだ一般化はできない。

関連論文リスト

Mixture-of-Experts Models in Vision: Routing, Optimization, and Generalization [0.0]
画像分類設定におけるMoEの挙動について検討し、予測性能、専門家の活用、一般化に着目した。我々は、CIFAR10データセット上の密度、SoftMoE、SparseMoE分類器を、同等のモデルキャパシティで比較する。どちらのMoE変種も、正規化によるバランスの取れた専門家の利用を維持しながら、密度の高いベースラインよりもわずかに高い検証精度を達成する。 DenseとSparseMoEは、全てのモデルが同等の一般化性能を達成しているにもかかわらず、同様の曲率状態にあるのに対して、SoftMoEはこれらの指標によってよりシャープさを示す。
論文参考訳（メタデータ） (2026-01-21T14:22:25Z)
Prompt-aware classifier free guidance for diffusion models [3.3115063666033167]
本稿では,スケール依存品質を予測し,推論時に最適なガイダンスを選択するプロンプト対応フレームワークを提案する。セマンティック埋め込みと言語的複雑性を条件とした軽量な予測器は、マルチメトリック品質曲線を推定する。 MSCOCO2014とAudioCapsの実験では、バニラCFGよりも一貫した改善が見られた。
論文参考訳（メタデータ） (2025-09-25T09:16:25Z)
Automated Tuning for Diffusion Inverse Problem Solvers without Generative Prior Retraining [4.511561231517167]
拡散/スコアベースのモデルは、逆問題を解決するための強力な生成前駆体として現れてきた。本稿では,任意のノイズスケジュールで忠実度重みを調整するテスト時間最適化手法であるZero-shot Adaptive Diffusion Smpling (ZADS)を提案する。 ZADSは、従来の圧縮センシングと最近の拡散ベースの手法の両方より一貫して優れている。
論文参考訳（メタデータ） (2025-09-11T22:22:32Z)
SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。離散選択問題を連続的な部分集合最適化フレームワークに変換する。両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
論文参考訳（メタデータ） (2025-02-14T12:35:21Z)
Optimizing importance weighting in the presence of sub-population shifts [0.0]
トレーニングデータとテストデータの間の分散シフトは、機械学習モデルの性能を著しく損なう可能性がある。トレーニングデータの有限標本サイズによる推定モデルのばらつきの増大を無視するため,既存の重み付けは準最適であると主張する。重みとモデルパラメータを同時に最適化する二段階最適化手法を提案する。
論文参考訳（メタデータ） (2024-10-18T09:21:10Z)
Model Merging by Uncertainty-Based Gradient Matching [70.54580972266096]
ミスマッチを減らすことで性能を改善するための不確実性に基づく新しいスキームを提案する。我々の新しい手法は、大きな言語モデルと視覚変換器に一貫した改善をもたらす。
論文参考訳（メタデータ） (2023-10-19T15:02:45Z)
Improving Generalization of Pre-trained Language Models via Stochastic Weight Averaging [25.856435988848638]
知識蒸留(KD)は、コンパクトな事前学習言語モデル(PLM)の一般化を改善するための一般的な技術である。我々は、より平坦な最小値への収束を促す手法であるウェイト平均化(SWA)を微調整 PLM に適用する。我々の適応は余分なコストを伴わずに一般化を改善することを実証する。
論文参考訳（メタデータ） (2022-12-12T15:09:56Z)
Generalized Parametric Contrastive Learning [60.62901294843829]
一般化パラメトリックコントラスト学習(GPaCo/PaCo)は、不均衡データとバランスデータの両方でうまく機能する。長い尾のベンチマークの実験は、長い尾の認識のための新しい最先端を示す。
論文参考訳（メタデータ） (2022-09-26T03:49:28Z)
Improving Predictive Performance and Calibration by Weight Fusion in Semantic Segmentation [18.47581580698701]
ネットワークの深いアンサンブルの予測を平均化することは、予測性能と校正を改善するための一般的かつ効果的な方法である。単純な重み融合(WF)ストラテジーは予測性能と校正を著しく向上させる可能性があることを示す。
論文参考訳（メタデータ） (2022-07-22T17:24:13Z)
Explainable Sparse Knowledge Graph Completion via High-order Graph Reasoning Network [111.67744771462873]
本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
論文参考訳（メタデータ） (2022-07-14T10:16:56Z)
Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time [69.7693300927423]
複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
論文参考訳（メタデータ） (2022-03-10T17:03:49Z)
Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文参考訳（メタデータ） (2021-12-10T20:46:13Z)
Dynamic Scale Training for Object Detection [111.33112051962514]
本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
論文参考訳（メタデータ） (2020-04-26T16:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。