論文の概要: Be More Diverse than the Most Diverse: Online Selection of Diverse Mixtures of Generative Models

• arxiv url: http://arxiv.org/abs/2412.17622v1
• Date: Mon, 23 Dec 2024 14:48:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:00:39.412585
• Title: Be More Diverse than the Most Diverse: Online Selection of Diverse Mixtures of Generative Models
• Title（参考訳）: Be More Diverse than the Most Diverse: Online Selection of Diverse Mixtures of Generative Models
• Authors: Parham Rezaei, Farzan Farnia, Cheuk Ting Li,
• Abstract要約: 本研究では,複数の生成モデルの組み合わせの選択について検討する。 我々はMixture-UCB(Mixture-UCB)と呼ばれるオンライン学習手法を提案する。
• 参考スコア（独自算出の注目度）: 33.04472814852163
• License:
• Abstract: The availability of multiple training algorithms and architectures for generative models requires a selection mechanism to form a single model over a group of well-trained generation models. The selection task is commonly addressed by identifying the model that maximizes an evaluation score based on the diversity and quality of the generated data. However, such a best-model identification approach overlooks the possibility that a mixture of available models can outperform each individual model. In this work, we explore the selection of a mixture of multiple generative models and formulate a quadratic optimization problem to find an optimal mixture model achieving the maximum of kernel-based evaluation scores including kernel inception distance (KID) and R\'{e}nyi kernel entropy (RKE). To identify the optimal mixture of the models using the fewest possible sample queries, we propose an online learning approach called Mixture Upper Confidence Bound (Mixture-UCB). Specifically, our proposed online learning method can be extended to every convex quadratic function of the mixture weights, for which we prove a concentration bound to enable the application of the UCB approach. We prove a regret bound for the proposed Mixture-UCB algorithm and perform several numerical experiments to show the success of the proposed Mixture-UCB method in finding the optimal mixture of text-based and image-based generative models. The codebase is available at https://github.com/Rezaei-Parham/Mixture-UCB .
• Abstract（参考訳）: 生成モデルのための複数のトレーニングアルゴリズムとアーキテクチャが利用可能であるためには、よく訓練された生成モデルのグループに対して単一のモデルを形成するための選択メカニズムが必要である。 選択タスクは、生成されたデータの多様性と品質に基づいて評価スコアを最大化するモデルを特定することで、一般的に対処される。 しかし、このような最良のモデル同定アプローチは、利用可能なモデルの混合が個々のモデルよりも優れている可能性を見落としている。 本研究では, カーネル開始距離 (KID) と R\'{e}nyi カーネルエントロピー (RKE) を含むカーネル評価スコアの最大値を達成するため, 複数の生成モデルの混合を選択し, 二次最適化問題を定式化する。 最少のサンプルクエリを用いてモデルの最適混合を同定するために,Mixture-UCB(Mixture-UCB)と呼ばれるオンライン学習手法を提案する。 具体的には,本提案手法は混合重みの凸2次関数に拡張可能であり,UCBアプローチの適用を可能にする濃度境界を証明できる。 我々は,提案したMixture-UCBアルゴリズムに対する後悔の念を証明し,テキストベースおよび画像ベース生成モデルの最適混合を見つけるために提案したMixture-UCB法の成功を示す数値実験を行った。 コードベースはhttps://github.com/Rezaei-Parham/Mixture-UCB で公開されている。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Stabilizing black-box model selection with the inflated argmax [8.52745154080651]
  本稿では,バッジと「膨らませた」argmax演算を組み合わせたモデル選択の安定化手法を提案する。 提案手法では,データに適合するモデルの小さなコレクションを選択し,高い確率で任意のトレーニングポイントを除去すると,元のコレクションと重複するモデルのコレクションが生成される。 いずれの設定においても,提案手法は,選択したモデルの安定かつコンパクトなコレクションを生成し,様々なベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-10-23T20:39:07Z)
• An Online Learning Approach to Prompt-based Selection of Generative Models [23.91197677628145]
  様々な入力プロンプトに対する最良の生成モデルのオンライン識別は、サブ最適モデルのクエリに関連するコストを削減できる。 与えられた入力プロンプトに対して最適なデータ生成モデルを予測するためのオンライン学習フレームワークを提案する。 実画像と画像と画像の合成モデルを用いた実験により,RFF-UCBは最適な生成モデルを特定するのに成功していることが示された。
  論文  参考訳（メタデータ） (2024-10-17T07:33:35Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• A hybrid ensemble method with negative correlation learning for regression [2.8484009470171943]
  ヘテロジニアスモデルプールからサブモデルを自動的に選択および重み付けする。 内部点フィルタリング線形探索アルゴリズムを用いて最適化問題を解く。 本研究の価値は、その使いやすさと有効性にあるため、ハイブリッドアンサンブルは多様性と正確性を受け入れることができる。
  論文  参考訳（メタデータ） (2021-04-06T06:45:14Z)
• Community Detection in the Stochastic Block Model by Mixed Integer Programming [3.8073142980733]
  Degree-Corrected Block Model (DCSBM) は、コミュニティ構造を持つランダムグラフを生成する一般的なモデルである。 DCSBMに基づくコミュニティ検出の標準的なアプローチは、最大推定(MLE)により観測されたネットワークデータを生成する可能性が最も高いモデルパラメータを探索することである。 本稿では,モデルパラメータと最大確率のコミュニティ割当を観測グラフから確実に求める数学的計画式と厳密解法を提案する。
  論文  参考訳（メタデータ） (2021-01-26T22:04:40Z)
• Semi-nonparametric Latent Class Choice Model with a Flexible Class Membership Component: A Mixture Model Approach [6.509758931804479]
  提案したモデルは、従来のランダムユーティリティ仕様に代わるアプローチとして混合モデルを用いて潜在クラスを定式化する。 その結果,混合モデルにより潜在クラス選択モデル全体の性能が向上した。
  論文  参考訳（メタデータ） (2020-07-06T13:19:26Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。