論文の概要: Be More Diverse than the Most Diverse: Optimal Mixtures of Generative Models via Mixture-UCB Bandit Algorithms

• arxiv url: http://arxiv.org/abs/2412.17622v2
• Date: Sat, 22 Mar 2025 10:45:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:32:18.849799
• Title: Be More Diverse than the Most Diverse: Optimal Mixtures of Generative Models via Mixture-UCB Bandit Algorithms
• Title（参考訳）: Be More Diverse than the Most Diverse:Optimal Mixtures of Generative Models via Mixture-UCB Bandit Algorithms
• Authors: Parham Rezaei, Farzan Farnia, Cheuk Ting Li,
• Abstract要約: ベンチマーク画像データセット上の生成モデルの混合は、実際により良い評価スコアを得ることができることを数値的に示す。 そこで我々は,Mixture-UCBアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 33.04472814852163
• License:
• Abstract: The availability of multiple training algorithms and architectures for generative models requires a selection mechanism to form a single model over a group of well-trained generation models. The selection task is commonly addressed by identifying the model that maximizes an evaluation score based on the diversity and quality of the generated data. However, such a best-model identification approach overlooks the possibility that a mixture of available models can outperform each individual model. In this work, we numerically show that a mixture of generative models on benchmark image datasets can indeed achieve a better evaluation score (based on FID and KID scores), compared to the individual models. This observation motivates the development of efficient algorithms for selecting the optimal mixture of the models. To address this, we formulate a quadratic optimization problem to find an optimal mixture model achieving the maximum of kernel-based evaluation scores including kernel inception distance (KID) and R\'enyi kernel entropy (RKE). To identify the optimal mixture of the models using the fewest possible sample queries, we view the selection task as a multi-armed bandit (MAB) problem and propose the Mixture Upper Confidence Bound (Mixture-UCB) algorithm that provably converges to the optimal mixture of the involved models. More broadly, the proposed Mixture-UCB can be extended to optimize every convex quadratic function of the mixture weights in a general MAB setting. We prove a regret bound for the Mixture-UCB algorithm and perform several numerical experiments to show the success of Mixture-UCB in finding the optimal mixture of text and image generative models. The project code is available at https://github.com/Rezaei-Parham/Mixture-UCB.
• Abstract（参考訳）: 生成モデルのための複数のトレーニングアルゴリズムとアーキテクチャが利用可能であるためには、よく訓練された生成モデルのグループに対して単一のモデルを形成するための選択メカニズムが必要である。 選択タスクは、生成されたデータの多様性と品質に基づいて評価スコアを最大化するモデルを特定することで、一般的に対処される。 しかし、このような最良のモデル同定アプローチは、利用可能なモデルの混合が個々のモデルよりも優れている可能性を見落としている。 本研究では、ベンチマーク画像データセット上の生成モデルの混合が、個々のモデルと比較して、(FIDとKIDのスコアに基づく)より良い評価スコアが得られることを数値的に示す。 この観察は、モデルの最適混合を選択するための効率的なアルゴリズムの開発を動機付けている。 そこで本研究では,カーネル開始距離 (KID) と R'enyi カーネルエントロピー (RKE) を含むカーネル評価スコアの最大値を達成するための2次最適化問題を定式化する。 最も少ないサンプルクエリを用いてモデルの最適混合を識別するために、選択タスクをマルチアームバンディット(MAB)問題とみなし、関連するモデルの最適混合に確実に収束するMixture Up Confidence Bound(Mixture-UCB)アルゴリズムを提案する。 より広い範囲で、提案されたMixture-UCBは、一般的なMAB設定における混合重みの凸二次関数を最適化するために拡張することができる。 そこで本研究では,Mixture-UCBアルゴリズムに対して,テキストと画像生成モデルの最適混合を見つける上でのMixture-UCBの成功を示す数値実験を行った。 プロジェクトのコードはhttps://github.com/Rezaei-Parham/Mixture-UCBで公開されている。

関連論文リスト

• Amortized Bayesian Mixture Models [1.3976439685325095]
  本稿では,混合モデルに適したABI(Amortized Bayesian Inference)の拡張について紹介する。 我々は、後部をパラメータの分布と(カテゴリー的な)混合指標の分布に分解し、生成ニューラルネットワークの組み合わせを利用できるようにする。 提案フレームワークは、独立混合モデルと依存混合モデルの両方に対応し、フィルタリングと平滑化を可能にする。
  論文  参考訳（メタデータ） (2025-01-17T14:51:03Z)
• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Stabilizing black-box model selection with the inflated argmax [8.52745154080651]
  理論的安定性を保証するモデル選択を安定化する新しい手法を提案する。 提案手法では,データに適合するモデルの小さなコレクションを選択し,高い確率で任意のトレーニングポイントを除去すると,元のコレクションと重なる選択されたモデルのコレクションが生成される。
  論文  参考訳（メタデータ） (2024-10-23T20:39:07Z)
• An Online Learning Approach to Prompt-based Selection of Generative Models [23.91197677628145]
  様々な入力プロンプトに対する最良の生成モデルのオンライン識別は、サブ最適モデルのクエリに関連するコストを削減できる。 与えられた入力プロンプトに対して最適なデータ生成モデルを予測するためのオンライン学習フレームワークを提案する。 実画像と画像と画像の合成モデルを用いた実験により,RFF-UCBは最適な生成モデルを特定するのに成功していることが示された。
  論文  参考訳（メタデータ） (2024-10-17T07:33:35Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• A hybrid ensemble method with negative correlation learning for regression [2.8484009470171943]
  ヘテロジニアスモデルプールからサブモデルを自動的に選択および重み付けする。 内部点フィルタリング線形探索アルゴリズムを用いて最適化問題を解く。 本研究の価値は、その使いやすさと有効性にあるため、ハイブリッドアンサンブルは多様性と正確性を受け入れることができる。
  論文  参考訳（メタデータ） (2021-04-06T06:45:14Z)
• Semi-nonparametric Latent Class Choice Model with a Flexible Class Membership Component: A Mixture Model Approach [6.509758931804479]
  提案したモデルは、従来のランダムユーティリティ仕様に代わるアプローチとして混合モデルを用いて潜在クラスを定式化する。 その結果,混合モデルにより潜在クラス選択モデル全体の性能が向上した。
  論文  参考訳（メタデータ） (2020-07-06T13:19:26Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。