論文の概要: Gacha Decoding: Eliciting Diverse Generations Through Instruction Following

• arxiv url: http://arxiv.org/abs/2610.01382v1
• Date: Thu, 01 Oct 2026 09:48:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.03988
• Title: Gacha Decoding: Eliciting Diverse Generations Through Instruction Following
• Title（参考訳）: Gacha Decoding: インストラクションフォローを通じて、さまざまな世代を楽しませる
• Abstract要約: 本稿では,多様な言語モデルを生成する推論時間手法であるGacha Decodingを紹介する。 Gacha Decodingは、既存の世代の多様性アプローチを同等の品質で大幅に上回る。 この結果から,トークンのエントロピーのみではなく,後続の命令が生成の多様性を促進することが示唆された。
• 参考スコア（独自算出の注目度）: 30.94506345365417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Gacha Decoding, an inference-time method for eliciting diverse language model generations that scales with model capability. Across open-ended domains (in-the-wild chat, creative writing, planning for image generation, and protein design), Gacha Decoding significantly outperforms existing generation diversity approaches at equal quality (up to 2.4x Vendi over the next-best prior approach), reaching the same number of high-quality modes with over an order of magnitude fewer samples (11.0x) and discovering novel modes that no other approach surfaces. Our key insight is to treat diversity as an instruction-following problem: rather than relying on the LM's token entropy, we combine its instruction-following capability with randomness from an external RNG tool to scalably identify and realize distinct modes of the response space. This approach of "planning with dice" enables Gacha to invert the long-observed tension between diversity and model capability. As the underlying LM becomes a better instruction follower, diversity under Gacha Decoding consistently improves--even as its token entropy and diversity under prior approaches decline. Together, our results highlight that instruction following, rather than token entropy alone, can drive generation diversity.
• Abstract（参考訳）: 本稿では,モデル能力を拡張可能な多種多様な言語モデル生成手法であるGacha Decodingを紹介する。 オープンエンドドメイン(ワイルドなチャット、クリエイティブな書き込み、画像生成のための計画、タンパク質設計)全体にわたって、Gacha Decodingは、既存の世代の多様性アプローチを同等の品質(次のベストなアプローチよりも2.4倍のVendi)で大幅に上回り、同じ数の高品質なモードに到達し、桁違いに少ないサンプル(11.0倍)のオーダーで到達し、他のアプローチにアプローチしない新しいモードを発見する。 我々の重要な洞察は、多様性を命令追従問題として扱うことである: LMのトークンエントロピーに頼るのではなく、命令追従能力と外部RNGツールからのランダム性を組み合わせて、応答空間の異なるモードを特定し、実現する。 このアプローチによって、Gachaは多様性とモデル能力の間の長期にわたる緊張を回避できる。 基礎となるLMがより良い指示に従うようになると、ガチャ・デコードの下での多様性は一貫して改善され、それ以前のアプローチによるトークンのエントロピーと多様性は低下する。 この結果から,トークンのエントロピーのみではなく,後続の命令が生成の多様性を促進することが示唆された。

関連論文リスト

• DiverseGRPO: Mitigating Mode Collapse in Image Generation via Diversity-Aware GRPO [50.89703227426486]
  強化学習(RL)は、同一グループ内で生成された画像の相対的性能を比較することにより、画像生成品質を著しく向上させる。 トレーニングの後半段階では、モデルは創造性と視覚的多様性を欠いた均質化されたアウトプットを生成する傾向にある。 この問題は、報酬モデリングとジェネレーションダイナミクスの両方の観点から分析することができる。
  論文  参考訳（メタデータ） (2025-12-25T05:37:37Z)
• Jointly Reinforcing Diversity and Quality in Language Model Generations [64.72289248044514]
  大規模言語モデル(LM)のポストトレーニングは、しばしば多様性を犠牲にして正確さと役に立つことを優先する。 DARling(Diversity-Aware Reinforcement Learning)は、応答品質とセマンティック多様性を協調的に最適化するフレームワークである。
  論文  参考訳（メタデータ） (2025-09-02T17:38:47Z)
• SPARKE: Scalable Prompt-Aware Diversity and Novelty Guidance in Diffusion Models via RKE Score [22.364171814102487]
  拡散モデルは高忠実度画像合成と即時誘導生成モデルにおいて顕著な成功を収めている。 そこで本稿では,SPARKE(Scalble Prompt-Aware R'eny Kernel Entropy Diversity Guidance)法を提案する。 本研究では,複数のテキスト・画像拡散モデル上でSPARKE法を数値的に検証し,提案手法が有意な計算コストを伴わずに生成したデータの迅速な多様性を向上させることを示す。
  論文  参考訳（メタデータ） (2025-06-11T20:53:45Z)
• Intent Factored Generation: Unleashing the Diversity in Your Language Model [18.299668531350825]
  多様性を高める方法はしばしばトークンレベルでのみ動作し、同じ応答を言い換える。 本稿では, サンプリング過程を2段階に分解するIntent Factored Generationを提案する。 本手法の有効性は,様々なタスクにまたがって実証する。
  論文  参考訳（メタデータ） (2025-06-11T12:26:45Z)
• Evaluating the Diversity and Quality of LLM Generated Content [72.84945252821908]
  品質閾値を満たす出力間の効果的な意味的多様性を測定するための枠組みを導入する。 嗜好調整モデルでは語彙的および構文的多様性が低下するが、SFTやベースモデルよりも効果的な意味的多様性が得られる。 これらの発見は、多種多様な高品質な出力を必要とするアプリケーションに重要な意味を持つ。
  論文  参考訳（メタデータ） (2025-04-16T23:02:23Z)
• Diversify Question Generation with Retrieval-Augmented Style Transfer [68.00794669873196]
  本稿では,検索型スタイル転送のためのフレームワーク RAST を提案する。 本研究の目的は,多様なテンプレートのスタイルを質問生成に活用することである。 多様性報酬と一貫性報酬の重み付けを最大化する新しい強化学習(RL)ベースのアプローチを開発する。
  論文  参考訳（メタデータ） (2023-10-23T02:27:31Z)
• VOLTA: Improving Generative Diversity by Variational Mutual Information Maximizing Autoencoder [38.35049378875308]
  VOLTAは,VAEでトランスフォーマーをブリッジすることで,遺伝子多様性を高めるフレームワークである。 6つのデータセット上で2種類のトランスフォーマーを用いた総合的な実験を行い、生成品質を維持しながら生成の多様性を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-07-03T08:45:42Z)
• Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
  本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。 具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
  論文  参考訳（メタデータ） (2020-04-29T17:43:24Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。