論文の概要: Which Constraints Are Missing? Ask the Verifier: Graded Rewards for Constraint-Following Music Generation

• arxiv url: http://arxiv.org/abs/2609.23665v1
• Date: Sun, 20 Sep 2026 14:22:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.940521
• Title: Which Constraints Are Missing? Ask the Verifier: Graded Rewards for Constraint-Following Music Generation
• Title（参考訳）: どの制約が抜けているのか? 検証器に尋ねる: 制約に追従する音楽生成のためのグレード・リワード
• Abstract要約: MusicRLVRは、不正な出力を拒否するハードバリデーションゲートの背後に、適格単位のクレジットを支払う。 MusicConstraintBenchでは、MusicRLVRは混合制約でQwen3-4B-Instructを0.160から0.807に引き上げ、Llama-3.1-70Bを含むすべてのゼロショットベースラインを0.380でリードする。
• 参考スコア（独自算出の注目度）: 22.578432068398048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constraint-following music generation asks a score to satisfy several user-specified properties at once, each checkable programmatically (key, meter, length, range, final note, rhythm, motion and form), yet no existing benchmark isolates this capability. We construct MusicConstraintBench, 2,180 items over eight constraint families, on which current models fail once a few constraints are combined. The natural remedy is reinforcement learning with these verifiers as reward, yet we observe that a reward paid only when every property holds leaves most training groups without a learning signal: over the first 50 updates, 0.550 of rollout groups score identically and receive no gradient, even though a failing score typically misses only one requested property. Under the joint criterion, rollouts for a prompt tend to fail together, so a binary reward cannot separate a nearly correct score from a malformed one. We therefore introduce MusicRLVR, which pays graded per-property credit behind a hard validation gate that rejects malformed outputs, plus a joint-satisfaction bonus, requiring no human annotation, learned reward model, or music-domain fine-tuning. On MusicConstraintBench, MusicRLVR lifts Qwen3-4B-Instruct from 0.160 to 0.807 on mixed constraints and leads every zero-shot baseline including Llama-3.1-70B at 0.380. It also generalises to property combinations unseen in training and to out-of-range parameter values, showing that verifiable rewards need not presuppose a target output.
• Abstract（参考訳）: 制約追従音楽生成は、一度に複数のユーザ指定プロパティを満たすようにスコアを要求され、各チェック可能な(キー、メーター、長さ、範囲、最終音符、リズム、動き、フォーム)。 MusicConstraintBench, 2,180のアイテムを8つの制約ファミリ上に構築します。 自然療法は、これらの検証器を報酬として強化学習するが、すべてのプロパティが学習信号なしでほとんどのトレーニンググループを保持した場合にのみ報酬が支払われる:最初の50回の更新では、ロールアウトグループの0.550が同一にスコアを取得し、グラデーションを受けない。 共同基準の下では、プロンプトのロールアウトが一緒に失敗する傾向があるため、バイナリ報酬は、ほぼ正しいスコアと不正なスコアを区別することはできない。 そこで我々は,不整形出力を拒否するハード・バリデーション・ゲートの裏側に,人間のアノテーションや学習報酬モデル,音楽ドメインの微調整を必要としないジョイント・サファッション・ボーナスを納品するMusicRLVRを紹介した。 MusicConstraintBenchでは、MusicRLVRは混合制約でQwen3-4B-Instructを0.160から0.807に引き上げ、Llama-3.1-70Bを含むすべてのゼロショットベースラインを0.380でリードする。 また、トレーニングで見えないプロパティの組み合わせや、範囲外パラメータ値も一般化し、検証可能な報酬が目標出力を前提にしないことを示す。

関連論文リスト

• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• What You Can't See Is What You Learn: Slot-Selective Evidence Masking Favors Compositional Generalization in Shared-Genome Language-Model Societies [0.0]
  我々は、アテンションマスクを除いて、10個のマッチした制限付き/グロバルペアを訓練する。 制限された視認性社会は、両深度で少なくとも20ポイント以上の視認性双生児を上回っている。 ホック選択後の6つの制限された社会では、正しく答えられた保留エピソードに対するパケットの介入は、およそ値インデクシングされたリレー状態と一致している。
  論文  参考訳（メタデータ） (2026-08-20T13:51:45Z)
• MuseCritic: Learning Multi-Aspect Song Rewards through Natural-Language Aesthetic Critiques [58.249736525099614]
  5つの美的次元をカバーする自然言語批評を生成する半スカラー報酬モデルMUSECRITICを導入する。 MUSECRITICをGRPOで使用すると、SongEvalとAudiobox Aestheticsの9つの美的指標でMuse-0.6Bが改善される。
  論文  参考訳（メタデータ） (2026-08-12T07:49:17Z)
• Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
  言語モデルは、進行中の計算の質を読み取ることができるか? 外部介入は、その読み出しをより良い結果に変えることができるか? 凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
  論文  参考訳（メタデータ） (2026-07-20T22:40:36Z)
• Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist [69.81453995715673]
  既存の忠実度ベンチマークは単純な原子命令に依存している。 本稿では,実アリーナT2Iログから抽出した310プロンプトの応力ベンチマークであるArena-T2I Hardを紹介する。 本稿では,各プロンプトをイエス/ノー質問のDAGに分解し,失敗する両親の子孫をゼロにする依存性対応チェックリスト報酬を提案する。
  論文  参考訳（メタデータ） (2026-06-30T14:17:05Z)
• When Rubrics Fail: Error Enumeration as Reward in Reference-Free RL Post-Training for Virtual Try-On [31.413458927376016]
  参照不要な設定を埋めるために、Implicit Error Countingを提案する。 IECは、キャリブレーションされたルーリックに対して何が正しいかをチェックせずに、何が間違っているかを列挙します。 ネーブ明示列挙法は安定な最適化には難しすぎることを示す。
  論文  参考訳（メタデータ） (2026-03-05T20:20:04Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。