論文の概要: Forty Shades of Blue: Quality-Diversity Alignment via Mode-Conditioned Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.14896v1
• Date: Mon, 14 Sep 2026 01:30:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.028498
• Title: Forty Shades of Blue: Quality-Diversity Alignment via Mode-Conditioned Reinforcement Learning
• Title（参考訳）: 青の40シェード:モード定義強化学習による品質多様性アライメント
• Abstract要約: 提案するMoDA(Mode-conditioned Diversity Alignment)は、オンライン学習後RLアルゴリズムで、生成品質と多様性を協調的に最適化する。 MoDAは、抽象的な番号付けされたロールに条件付けられた単一の共有LLMポリシーを訓練し、各ロールは、他のロールとは異なるアウトプットを生成するために競合するエージェントとして機能する。 MoDAは、基準品質閾値を校正し、しきい値を満たす応答のみに多様性報酬を与える、プロンプト適応品質ゲーティングメカニズムを採用している。
• 参考スコア（独自算出の注目度）: 43.43183331582973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A notable byproduct of LLM alignment training is mode collapse: the progressive loss of output diversity that narrows a model's expressivity at inference time. This degradation is especially limiting for applications requiring open-ended exploration and pluralistic perspectives, such as scientific ideation and creative writing. We present MoDA (Mode-conditioned Diversity Alignment), an online post-training RL algorithm that jointly optimizes generation quality and diversity, inspired by the coordination perspective in multi-agent reinforcement learning (MARL). MoDA trains a single shared LLM policy conditioned on abstract numbered roles, where each role acts as an agent competing to produce outputs distinct from the others. This formulation encourages mode-conditioned agents to explore complementary regions of the high-quality output space without requiring hand-crafted personas or architectural modifications. MoDA employs a prompt-adaptive quality gating mechanism that calibrates a reference quality threshold and grants diversity rewards only to responses that meet the threshold, preventing reward-hacking behaviors that compromise response quality. To study quality-diversity tradeoffs, we evaluate MoDA on a comprehensive suite of benchmarks spanning seven general capability tasks and four domain-specific diversity tasks in scientific ideation and creative writing. MoDA improves SBERT diversity by 265% on the Infinite-Chat held-out prompts, while increasing average general capability pass@1 by 10.3% over the Qwen3-8B baseline. Compared with the strongest DivPO baseline, MoDA improves SBERT diversity from 0.274 to 0.482 (+75.9%) and E-Vendi from 2.86 to 4.4 (+53.8%), while improving average general capability pass@1 by 7.0%. Overall, MoDA provides a drop-in alternative to standard post-training methods that preserves and expands the model's expressive output space while improving quality.
• Abstract（参考訳）: LLMアライメントトレーニングの顕著な副産物はモード崩壊(英語版)である。 この劣化は、科学的な考えや創造的な文章など、オープンエンドな探索と多元的な視点を必要とするアプリケーションに特に制限されている。 我々は,マルチエージェント強化学習(MARL)における協調的視点に着想を得て,生成品質と多様性を協調的に最適化するオンライン学習後RLアルゴリズムであるMoDA(Mode-conditioned Diversity Alignment)を提案する。 MoDAは、抽象的な番号付けされたロールに条件付けられた単一の共有LLMポリシーを訓練し、各ロールは、他のロールとは異なるアウトプットを生成するために競合するエージェントとして機能する。 この定式化は、手作りのペルソナやアーキテクチャの変更を必要とせずに、モード条件のエージェントが高品質な出力空間の補完領域を探索することを奨励する。 MoDAは、基準品質閾値を校正し、しきい値を満たす応答にのみ多様性の報酬を与える、応答品質を損なう報奨行動を防止する、プロンプト適応品質ゲーティング機構を採用している。 品質と多様性のトレードオフを研究するため,MoDAは7つの汎用能力タスクと4つのドメイン固有の多様性タスクにまたがる総合的なベンチマークスイートを用いて,科学的思考と創造的記述について評価した。 MoDAは、Infinite-ChatのホールトアウトプロンプトでSBERTの多様性を265%改善し、Qwen3-8Bベースラインで平均的な一般能力は10.3%向上した。 最強のDivPOベースラインと比較して、MoDAはSBERTの多様性を0.274から0.482(+75.9%)に、E-Vendiは2.86から4.4(+53.8%)に改善し、平均汎用能力は7.0%向上した。 全体として、MoDAは、品質を改善しながら、モデルの表現力のある出力空間を保存および拡張する標準的なポストトレーニング手法の代替として、ドロップインを提供する。

関連論文リスト

• Beyond the Dirac Delta: Mitigating Diversity Collapse in Reinforcement Fine-Tuning for Versatile Image Generation [51.305316234962554]
  textbfDRIFT(textbfDivetextbfRsity-textbfIncentivized Reinforcement textbfFine-textbfTuning for Versatile Image Generation)を提案する。 DRIFTはタスクアライメントとジェネレーションの多様性に関して優れた優位性を達成し、9.08%!sim! 43.46%$多様性等価アライメントレベルの増加と59.65ドルとなる。
  論文  参考訳（メタデータ） (2026-01-18T13:25:43Z)
• Optimizing Diversity and Quality through Base-Aligned Model Collaboration [49.59542918674004]
  多様性と品質を最適化するベースアラインドモデルコラボレーション(BACo)を提案する。 BACoは各トークンに対して、どのモデルからデコードするかを決定するルーティング戦略を採用している。 BACoは、単一のパス内で高い多様性と品質の両方を達成すると同時に、強力な制御性を提供します。
  論文  参考訳（メタデータ） (2025-11-07T19:00:01Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)
• Jointly Reinforcing Diversity and Quality in Language Model Generations [64.72289248044514]
  大規模言語モデル(LM)のポストトレーニングは、しばしば多様性を犠牲にして正確さと役に立つことを優先する。 DARling(Diversity-Aware Reinforcement Learning)は、応答品質とセマンティック多様性を協調的に最適化するフレームワークである。
  論文  参考訳（メタデータ） (2025-09-02T17:38:47Z)
• Evaluating the Diversity and Quality of LLM Generated Content [72.84945252821908]
  品質閾値を満たす出力間の効果的な意味的多様性を測定するための枠組みを導入する。 嗜好調整モデルでは語彙的および構文的多様性が低下するが、SFTやベースモデルよりも効果的な意味的多様性が得られる。 これらの発見は、多種多様な高品質な出力を必要とするアプリケーションに重要な意味を持つ。
  論文  参考訳（メタデータ） (2025-04-16T23:02:23Z)
• Modifying Large Language Model Post-Training for Diverse Creative Writing [12.872333448726595]
  創造的な文章生成において、出力の多様性と品質の両方を促進するためのポストトレーニングアプローチについて検討する。 私たちの中核となる考え方は、希少な高品質なインスタンスからの学習を容易にするためのトレーニング目標の逸脱を含めることです。 8Bパラメータの最良のモデルは、最高の命令チューニングモデルに似た出力品質を持ちながら、人間の作成したデータセットとしてオンパー多様性を達成することができる。
  論文  参考訳（メタデータ） (2025-03-21T13:21:45Z)
• Controlling Behavioral Diversity in Multi-Agent Reinforcement Learning [8.905920197601173]
  本研究では,ある指標の正確な値に対する多様性を制御できるダイバーシティ制御(DiCo)を導入する。 マルチエージェント強化学習における性能向上とサンプル効率向上のための新しいパラダイムとしてDiCoを用いる方法を示す。
  論文  参考訳（メタデータ） (2024-05-23T21:03:33Z)
• Quality Diversity through Human Feedback: Towards Open-Ended Diversity-Driven Optimization [13.436983663467938]
  本稿では,ヒトフィードバックによる品質の多様性(QDHF)について紹介する。 実証的な研究によると、QDHFは自動多様性発見において最先端の手法を著しく上回っている。 オープンな生成タスクにおいて、QDHFは拡散モデルからテキストから画像への生成の多様性を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-10-18T16:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。