論文の概要: Be More Diverse than the Most Diverse: Online Selection of Diverse Mixtures of Generative Models

• arxiv url: http://arxiv.org/abs/2412.17622v1
• Date: Mon, 23 Dec 2024 14:48:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 19:42:48.482072
• Title: Be More Diverse than the Most Diverse: Online Selection of Diverse Mixtures of Generative Models
• Title（参考訳）: Be More Diverse than the Most Diverse: Online Selection of Diverse Mixtures of Generative Models
• Authors: Parham Rezaei, Farzan Farnia, Cheuk Ting Li,
• Abstract要約: 本研究では,複数の生成モデルの組み合わせの選択について検討する。 我々はMixture-UCB(Mixture-UCB)と呼ばれるオンライン学習手法を提案する。
• 参考スコア（独自算出の注目度）: 33.04472814852163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The availability of multiple training algorithms and architectures for generative models requires a selection mechanism to form a single model over a group of well-trained generation models. The selection task is commonly addressed by identifying the model that maximizes an evaluation score based on the diversity and quality of the generated data. However, such a best-model identification approach overlooks the possibility that a mixture of available models can outperform each individual model. In this work, we explore the selection of a mixture of multiple generative models and formulate a quadratic optimization problem to find an optimal mixture model achieving the maximum of kernel-based evaluation scores including kernel inception distance (KID) and R\'{e}nyi kernel entropy (RKE). To identify the optimal mixture of the models using the fewest possible sample queries, we propose an online learning approach called Mixture Upper Confidence Bound (Mixture-UCB). Specifically, our proposed online learning method can be extended to every convex quadratic function of the mixture weights, for which we prove a concentration bound to enable the application of the UCB approach. We prove a regret bound for the proposed Mixture-UCB algorithm and perform several numerical experiments to show the success of the proposed Mixture-UCB method in finding the optimal mixture of text-based and image-based generative models. The codebase is available at https://github.com/Rezaei-Parham/Mixture-UCB .
• Abstract（参考訳）: 生成モデルのための複数のトレーニングアルゴリズムとアーキテクチャが利用可能であるためには、よく訓練された生成モデルのグループに対して単一のモデルを形成するための選択メカニズムが必要である。 選択タスクは、生成されたデータの多様性と品質に基づいて評価スコアを最大化するモデルを特定することで、一般的に対処される。 しかし、このような最良のモデル同定アプローチは、利用可能なモデルの混合が個々のモデルよりも優れている可能性を見落としている。 本研究では, カーネル開始距離 (KID) と R\'{e}nyi カーネルエントロピー (RKE) を含むカーネル評価スコアの最大値を達成するため, 複数の生成モデルの混合を選択し, 二次最適化問題を定式化する。 最少のサンプルクエリを用いてモデルの最適混合を同定するために,Mixture-UCB(Mixture-UCB)と呼ばれるオンライン学習手法を提案する。 具体的には,本提案手法は混合重みの凸2次関数に拡張可能であり,UCBアプローチの適用を可能にする濃度境界を証明できる。 我々は,提案したMixture-UCBアルゴリズムに対する後悔の念を証明し,テキストベースおよび画像ベース生成モデルの最適混合を見つけるために提案したMixture-UCB法の成功を示す数値実験を行った。 コードベースはhttps://github.com/Rezaei-Parham/Mixture-UCB で公開されている。

関連論文リスト

• Amortized Bayesian Mixture Models [1.3976439685325095]
  本稿では,混合モデルに適したABI(Amortized Bayesian Inference)の拡張について紹介する。 我々は、後部をパラメータの分布と(カテゴリー的な)混合指標の分布に分解し、生成ニューラルネットワークの組み合わせを利用できるようにする。 提案フレームワークは、独立混合モデルと依存混合モデルの両方に対応し、フィルタリングと平滑化を可能にする。
  論文  参考訳（メタデータ） (2025-01-17T14:51:03Z)
• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Stabilizing black-box model selection with the inflated argmax [8.52745154080651]
  本稿では,バッジと「膨らませた」argmax演算を組み合わせたモデル選択の安定化手法を提案する。 提案手法では,データに適合するモデルの小さなコレクションを選択し,高い確率で任意のトレーニングポイントを除去すると,元のコレクションと重複するモデルのコレクションが生成される。 いずれの設定においても,提案手法は,選択したモデルの安定かつコンパクトなコレクションを生成し,様々なベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-10-23T20:39:07Z)
• A Multi-Armed Bandit Approach to Online Selection and Evaluation of Generative Models [23.91197677628145]
  本研究では,標準評価スコアを最大化する生成モデルを見つけるためのオンライン評価選択フレームワークを提案する。 具体的には、Fr'echet Distance(FD)とInception Score(IS)のメトリクスを考慮した、MABに基づく生成モデルの選定を開発する。 実験の結果, 深部生成モデルの標本効率評価と選択に対するMABアプローチの有効性が示唆された。
  論文  参考訳（メタデータ） (2024-06-11T16:57:48Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• A Bagging and Boosting Based Convexly Combined Optimum Mixture Probabilistic Model [0.0]
  バッグングとブーピングをベースとした凸混合確率モデルが提案されている。 このモデルは、最大p値を与える最適確率モデルを得るための反復探索の結果である。
  論文  参考訳（メタデータ） (2021-06-08T04:20:00Z)
• A hybrid ensemble method with negative correlation learning for regression [2.8484009470171943]
  ヘテロジニアスモデルプールからサブモデルを自動的に選択および重み付けする。 内部点フィルタリング線形探索アルゴリズムを用いて最適化問題を解く。 本研究の価値は、その使いやすさと有効性にあるため、ハイブリッドアンサンブルは多様性と正確性を受け入れることができる。
  論文  参考訳（メタデータ） (2021-04-06T06:45:14Z)
• Community Detection in the Stochastic Block Model by Mixed Integer Programming [3.8073142980733]
  Degree-Corrected Block Model (DCSBM) は、コミュニティ構造を持つランダムグラフを生成する一般的なモデルである。 DCSBMに基づくコミュニティ検出の標準的なアプローチは、最大推定(MLE)により観測されたネットワークデータを生成する可能性が最も高いモデルパラメータを探索することである。 本稿では,モデルパラメータと最大確率のコミュニティ割当を観測グラフから確実に求める数学的計画式と厳密解法を提案する。
  論文  参考訳（メタデータ） (2021-01-26T22:04:40Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Semi-nonparametric Latent Class Choice Model with a Flexible Class Membership Component: A Mixture Model Approach [6.509758931804479]
  提案したモデルは、従来のランダムユーティリティ仕様に代わるアプローチとして混合モデルを用いて潜在クラスを定式化する。 その結果,混合モデルにより潜在クラス選択モデル全体の性能が向上した。
  論文  参考訳（メタデータ） (2020-07-06T13:19:26Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)
• Expected Information Maximization: Using the I-Projection for Mixture Density Estimation [22.096148237257644]
  高度にマルチモーダルなデータのモデリングは、機械学習において難しい問題である。 我々は,予測情報最大化(EIM)と呼ばれる新しいアルゴリズムを提案する。 我々のアルゴリズムは最近のGANアプローチよりもI射影の計算に効果的であることを示す。
  論文  参考訳（メタデータ） (2020-01-23T17:24:50Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。