論文の概要: An Online Learning Approach to Prompt-based Selection of Generative Models

• arxiv url: http://arxiv.org/abs/2410.13287v1
• Date: Thu, 17 Oct 2024 07:33:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:19:01.261197
• Title: An Online Learning Approach to Prompt-based Selection of Generative Models
• Title（参考訳）: プロンプトに基づく生成モデル選択のためのオンライン学習手法
• Authors: Xiaoyan Hu, Ho-fung Leung, Farzan Farnia,
• Abstract要約: 様々な入力プロンプトに対する最良の生成モデルのオンライン識別は、サブ最適モデルのクエリに関連するコストを削減できる。 与えられた入力プロンプトに対して最適なデータ生成モデルを予測するためのオンライン学習フレームワークを提案する。 実画像と画像と画像の合成モデルを用いた実験により,RFF-UCBは最適な生成モデルを特定するのに成功していることが示された。
• 参考スコア（独自算出の注目度）: 23.91197677628145
• License:
• Abstract: Selecting a sample generation scheme from multiple text-based generative models is typically addressed by choosing the model that maximizes an averaged evaluation score. However, this score-based selection overlooks the possibility that different models achieve the best generation performance for different types of text prompts. An online identification of the best generation model for various input prompts can reduce the costs associated with querying sub-optimal models. In this work, we explore the possibility of varying rankings of text-based generative models for different text prompts and propose an online learning framework to predict the best data generation model for a given input prompt. The proposed framework adapts the kernelized contextual bandit (CB) methodology to a CB setting with shared context variables across arms, utilizing the generated data to update a kernel-based function that predicts which model will achieve the highest score for unseen text prompts. Additionally, we apply random Fourier features (RFF) to the kernelized CB algorithm to accelerate the online learning process and establish a $\widetilde{\mathcal{O}}(\sqrt{T})$ regret bound for the proposed RFF-based CB algorithm over T iterations. Our numerical experiments on real and simulated text-to-image and image-to-text generative models show RFF-UCB performs successfully in identifying the best generation model across different sample types.
• Abstract（参考訳）: 複数のテキストベースの生成モデルからサンプル生成スキームを選択する場合、平均評価スコアを最大化するモデルを選択する。 しかし、このスコアベースの選択は、異なる種類のテキストプロンプトに対して、異なるモデルが最高の世代パフォーマンスを達成する可能性を見落としている。 様々な入力プロンプトに対する最良の生成モデルのオンライン識別は、サブ最適モデルのクエリに関連するコストを削減できる。 本研究では,テキストベース生成モデルの異なるテキストプロンプトに対するランク付けの可能性を検討するとともに,与えられた入力プロンプトに対して最適なデータ生成モデルを予測するためのオンライン学習フレームワークを提案する。 提案フレームワークは,カーネル化されたコンテキスト帯域幅(CB)手法を,アーム間の共有コンテキスト変数を持つCB設定に適応させ,生成したデータをカーネルベース関数の更新に利用することにより,未知のテキストプロンプトに対して,どのモデルが最も高いスコアを達成するかを予測する。 さらに、オンライン学習プロセスの高速化と、提案した RFF ベースの CB アルゴリズムに対する T 反復に対する $\widetilde{\mathcal{O}}(\sqrt{T})$ regret bound を確立するために、カーネル化された CB アルゴリズムにランダムフーリエ機能(RFF)を適用する。 RFF-UCBは, 実画像と実画像と画像から画像への生成モデルについて数値実験を行い, 異なるサンプルタイプにまたがる最適な生成モデル同定に成功していることを示す。

関連論文リスト

• Be More Diverse than the Most Diverse: Online Selection of Diverse Mixtures of Generative Models [33.04472814852163]
  本研究では,複数の生成モデルの組み合わせの選択について検討する。 我々はMixture-UCB(Mixture-UCB)と呼ばれるオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T14:48:17Z)
• Conditional Vendi Score: An Information-Theoretic Approach to Diversity Evaluation of Prompt-based Generative Models [15.40817940713399]
  モデルの内部の多様性を定量化するために,$H(X|T)$に基づく条件付きVendiスコアを導入する。 テキスト条件付き生成モデルの条件-ベンダースコアと内部の多様性との相関を示すために,いくつかの数値実験を行った。
  論文  参考訳（メタデータ） (2024-11-05T05:30:39Z)
• Repurposing Language Models into Embedding Models: Finding the Compute-Optimal Recipe [10.34105218186634]
  本稿では,テキスト埋め込みモデルに対して,計算-最適方式で対照的に学習する方法について検討する。 我々の革新は、異なる計算予算レベルでのテキスト埋め込みモデルのモデルサイズ、データ量、微調整方法の最適構成を生成するアルゴリズムである。
  論文  参考訳（メタデータ） (2024-06-06T15:22:33Z)
• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model [93.8067369210696]
  テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。 拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。 大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
  論文  参考訳（メタデータ） (2023-09-02T03:27:20Z)
• Generating Images with Multimodal Language Models [78.6660334861137]
  本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。 本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
  論文  参考訳（メタデータ） (2023-05-26T19:22:03Z)
• Text-Conditioned Sampling Framework for Text-to-Image Generation with Masked Generative Models [52.29800567587504]
  そこで本研究では,テキスト情報を用いた局所的監視により最適なトークンを選択するための,学習可能なサンプリングモデルであるテキスト定義トークン選択(TCTS)を提案する。 TCTSは画像の品質だけでなく、生成された画像と与えられたテキストのセマンティックアライメントも改善する。 我々は、周波数適応サンプリング(FAS)と様々な生成タスクを組み合わせたTCTSの有効性を検証し、画像テキストのアライメントや画質において、ベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2023-04-04T03:52:49Z)
• Lafite2: Few-shot Text-to-Image Generation [132.14211027057766]
  本稿では,画像のみのデータセットを用いたテキスト・画像生成モデルの事前学習手法を提案する。 擬似テキスト特徴を合成する検索テーマ最適化手法を検討する。 これは、数ショット、半教師あり、完全に教師された学習など、幅広い設定で有益である。
  論文  参考訳（メタデータ） (2022-10-25T16:22:23Z)
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.8500633981247]
  本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-28T18:09:46Z)
• Topical Language Generation using Transformers [4.795530213347874]
  本稿では,事前学習したLMとトピックモデリング情報を組み合わせることで,トピック言語生成(TLG)の新しいアプローチを提案する。 我々は,新しいパラメータと関数を導入して,生成したテキストに提示される話題特徴量に影響を与えるモデルを拡張する。 実験結果から,復号化の高速化とともに,コヒーレンシー,多様性,流線型性の向上が得られた。
  論文  参考訳（メタデータ） (2021-03-11T03:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。