論文の概要: Analysis of Classifier-Free Guidance Weight Schedulers

• arxiv url: http://arxiv.org/abs/2404.13040v1
• Date: Fri, 19 Apr 2024 17:53:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 14:16:48.946935
• Title: Analysis of Classifier-Free Guidance Weight Schedulers
• Title（参考訳）: クラシファイアフリー誘導ウェイトスケジューリング器の解析
• Authors: Xi Wang, Nicolas Dufour, Nefeli Andreou, Marie-Paule Cani, Victoria Fernandez Abrevaya, David Picard, Vicky Kalogeiton,
• Abstract要約: CFGはテキストから画像への拡散モデルへの付着の質と条件を高める。 最近の研究は拡散過程を通じて重みが変化し、優れた結果が報告されるが、理性や分析は提供されない。 以上の結果から,単調な単調なウェイトスケジューラが常に性能改善につながることが示唆された。
• 参考スコア（独自算出の注目度）: 17.98398537791448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classifier-Free Guidance (CFG) enhances the quality and condition adherence of text-to-image diffusion models. It operates by combining the conditional and unconditional predictions using a fixed weight. However, recent works vary the weights throughout the diffusion process, reporting superior results but without providing any rationale or analysis. By conducting comprehensive experiments, this paper provides insights into CFG weight schedulers. Our findings suggest that simple, monotonically increasing weight schedulers consistently lead to improved performances, requiring merely a single line of code. In addition, more complex parametrized schedulers can be optimized for further improvement, but do not generalize across different models and tasks.
• Abstract（参考訳）: Classifier-Free Guidance (CFG) はテキスト・ツー・イメージ拡散モデルの品質と条件適合性を高める。 条件付きと条件なしの予測を固定重量で組み合わせて操作する。 しかし、最近の研究は拡散過程全体を通して重みが異なり、優れた結果を報告しているが、理性や分析は提供していない。 本稿では、総合的な実験を行うことにより、CFGウェイトスケジューラに関する知見を提供する。 以上の結果から,単調な単調なウェイトスケジューラが常に性能の向上につながることが示唆された。 さらに、より複雑なパラメータ化されたスケジューラはさらなる改善のために最適化できるが、異なるモデルやタスクをまたいだ一般化はできない。

関連論文リスト

• Optimizing importance weighting in the presence of sub-population shifts [0.0]
  トレーニングデータとテストデータの間の分散シフトは、機械学習モデルの性能を著しく損なう可能性がある。 トレーニングデータの有限標本サイズによる推定モデルのばらつきの増大を無視するため,既存の重み付けは準最適であると主張する。 重みとモデルパラメータを同時に最適化する二段階最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T09:21:10Z)
• Model Merging by Uncertainty-Based Gradient Matching [70.54580972266096]
  ミスマッチを減らすことで性能を改善するための不確実性に基づく新しいスキームを提案する。 我々の新しい手法は、大きな言語モデルと視覚変換器に一貫した改善をもたらす。
  論文  参考訳（メタデータ） (2023-10-19T15:02:45Z)
• Improving Generalization of Pre-trained Language Models via Stochastic Weight Averaging [25.856435988848638]
  知識蒸留(KD)は、コンパクトな事前学習言語モデル(PLM)の一般化を改善するための一般的な技術である。 我々は、より平坦な最小値への収束を促す手法であるウェイト平均化(SWA)を微調整 PLM に適用する。 我々の適応は余分なコストを伴わずに一般化を改善することを実証する。
  論文  参考訳（メタデータ） (2022-12-12T15:09:56Z)
• Generalized Parametric Contrastive Learning [60.62901294843829]
  一般化パラメトリックコントラスト学習(GPaCo/PaCo)は、不均衡データとバランスデータの両方でうまく機能する。 長い尾のベンチマークの実験は、長い尾の認識のための新しい最先端を示す。
  論文  参考訳（メタデータ） (2022-09-26T03:49:28Z)
• Improving Predictive Performance and Calibration by Weight Fusion in Semantic Segmentation [18.47581580698701]
  ネットワークの深いアンサンブルの予測を平均化することは、予測性能と校正を改善するための一般的かつ効果的な方法である。 単純な重み融合(WF)ストラテジーは予測性能と校正を著しく向上させる可能性があることを示す。
  論文  参考訳（メタデータ） (2022-07-22T17:24:13Z)
• Explainable Sparse Knowledge Graph Completion via High-order Graph Reasoning Network [111.67744771462873]
  本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。 高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。 情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2022-07-14T10:16:56Z)
• Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time [69.7693300927423]
  複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。 モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
  論文  参考訳（メタデータ） (2022-03-10T17:03:49Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Dynamic Scale Training for Object Detection [111.33112051962514]
  本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。 提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。 推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
  論文  参考訳（メタデータ） (2020-04-26T16:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。