論文の概要: MuseCritic: Learning Multi-Aspect Song Rewards through Natural-Language Aesthetic Critiques

• arxiv url: http://arxiv.org/abs/2608.11755v1
• Date: Wed, 12 Aug 2026 07:49:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.49357
• Title: MuseCritic: Learning Multi-Aspect Song Rewards through Natural-Language Aesthetic Critiques
• Title（参考訳）: MuseCritic: 自然界の美的批評を通して多面的な歌唱を学習する
• Abstract要約: 5つの美的次元をカバーする自然言語批評を生成する半スカラー報酬モデルMUSECRITICを導入する。 MUSECRITICをGRPOで使用すると、SongEvalとAudiobox Aestheticsの9つの美的指標でMuse-0.6Bが改善される。
• 参考スコア（独自算出の注目度）: 58.249736525099614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-form song generation models continue to improve in duration, structural integrity, and acoustic complexity, making reliable aesthetic rewards increasingly important for aligning these models with human preferences. However, reward models for complete songs remain limited, and existing evaluators typically predict scores in a single forward pass without providing readable explanations. We introduce MUSECRITIC, a semi-scalar reward model that generates a natural-language critique covering five aesthetic dimensions and uses it as an intermediate representation to predict continuous reward scores. MUSECRITIC follows a two-stage training pipeline: a teacher model first provides high-quality critiques for supervised fine-tuning, after which the fine-tuned model generates its own critiques for reward learning, mitigating distribution shift between training and inference. On an in-domain test set of 200 SongEval songs, MUSECRITIC reduces macro-averaged mean squared error from 0.2875 to 0.2316 and improves macro-averaged LCC, SRCC, and Kendall's tau to 0.9068, 0.8838, and 0.7178, respectively. On the out-of-domain Music Arena benchmark with 733 preference pairs, it achieves the highest accuracy of 71.35%. Moreover, using MUSECRITIC with GRPO improves Muse-0.6B on all nine aesthetic metrics from SongEval and Audiobox Aesthetics. These results demonstrate that critique-conditioned reward modeling reduces scoring error and provides an effective optimization signal for song generation. The project repository is available at https://github.com/WuqnEl/MuseCritic.
• Abstract（参考訳）: ロングフォーム・ソング生成モデルは、持続時間、構造的整合性、音響的複雑さを改善し続けており、これらのモデルと人間の好みを整合させる上で、信頼性の高い美的報酬がますます重要になる。 しかし、完全な曲に対する報酬モデルはまだ限られており、既存の評価者は読みやすい説明をすることなく、1回のフォワードパスでスコアを予測するのが一般的である。 MUSECRITICは,5つの美的次元をカバーする自然言語批評を生成するセミスカラー報酬モデルであり,その中間表現として,連続的な報酬スコアを予測する。 教師モデルはまず教師付き微調整のための高品質な批評を提供し、その後、微調整されたモデルは報酬学習のための独自の批評を生成し、トレーニングと推論の間の分散シフトを緩和する。 200曲のSongEvalのドメイン内テストセットでは、MUSECRITICはマクロ平均二乗誤差を0.2875から0.2316に減らし、マクロ平均LCC、SRCC、Kendall's tauを0.9068、0.8838、0.7178に改善する。 733の選好ペアを持つドメイン外のMusic Arenaベンチマークでは、71.35%の精度を達成している。 さらに、MUSECRITICをGRPOで使用すると、SongEvalとAudiobox Aestheticsの9つの美的指標すべてにおいてMuse-0.6Bが改善される。 これらの結果から,評定条件付き報酬モデリングはスコアリング誤差を低減し,楽曲生成に有効な最適化信号を提供することが示された。 プロジェクトリポジトリはhttps://github.com/WuqnEl/MuseCritic.comで公開されている。

関連論文リスト

• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• SpecTM: Spectral Targeted Masking for Trustworthy Foundation Models [0.0]
  SpecTMは物理インフォームド・マスクの設計であり、対象のバンドをスペクトル間から再構成することを奨励している。 R2 = 0.695 (現在の週) と R2 = 0.620 (8日間) の予測を (+34% (0.51リッジ) と +99% (SVR 0.31) で上回っている。 極度の不足下では2.2倍のラベル効率で強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-03-23T15:26:51Z)
• Scaling Self-Supervised Representation Learning for Symbolic Piano Performance [52.661197827466886]
  本研究では,多量のシンボリック・ピアノ転写を訓練した自己回帰型トランスフォーマモデルの能力について検討した。 比較的小型で高品質なサブセットをファインチューンモデルに使い、音楽の継続を生成、シンボリックな分類タスクを実行し、汎用的なコントラストMIDI埋め込みを生成する。
  論文  参考訳（メタデータ） (2025-06-30T14:00:14Z)
• Aligning Text-to-Music Evaluation with Human Preferences [63.08368388389259]
  本稿では,TTM(生成音響テキスト・ツー・ミュージック)モデルの評価のための基準ベース分散指標の設計空間について検討する。 私たちは、合成データと人間の嗜好データの両方に標準のFAD設定が矛盾しているだけでなく、既存の指標のほとんどすべてがデシデラタを効果的に捉えていないことに気付きました。 我々は,自己教師型音声埋め込みモデルから表現に基づいて計算したMAUVE Audio Divergence(MAD)を提案する。
  論文  参考訳（メタデータ） (2025-03-20T19:31:04Z)
• Self-Generated Critiques Boost Reward Modeling for Language Models [57.60881438647227]
  Critic-RMは、余分な監督なしに自己生成した批評を使って報酬モデルを改善するフレームワークである。 実験の結果、Critic-RMは標準報酬モデルやLLM審査員と比較して報酬モデリングの精度を3.7%-7.3%改善していることがわかった。
  論文  参考訳（メタデータ） (2024-11-25T18:28:26Z)
• CARMO: Dynamic Criteria Generation for Context-Aware Reward Modelling [27.86204841898399]
  大規模な言語モデルでのリワードモデリングは、ハッキングに報奨を与える可能性がある。 本稿では,この問題を緩和するためにコンテキストアウェア・リワード・モデリング(CARMO)を提案する。 我々は、生成モデルに対するゼロショット設定における新しい最先端性能を確立し、Reward Benchの2.1%の改善を実現した。
  論文  参考訳（メタデータ） (2024-10-28T21:18:49Z)
• Critique-out-Loud Reward Models [20.631830494414096]
  本稿では,Crytique-out-Loud(CLoud)報酬モデルを紹介する。 CLoud報酬モデルは、まずアシスタントの応答に対する自然言語の批判を生成することで機能する。 我々は,Llama-3-8Bおよび70BベースモデルのCLoud報酬モデルの成功例を示した。
  論文  参考訳（メタデータ） (2024-08-21T17:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。