Fugu-MT 論文翻訳(概要): Unsupervised Multimodal Reward Modeling

論文の概要: Unsupervised Multimodal Reward Modeling

arxiv url: http://arxiv.org/abs/2610.12707v1
Date: Thu, 08 Oct 2026 20:38:25 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-13 04:06:29.280342
Title: Unsupervised Multimodal Reward Modeling
Title（参考訳）: 教師なしマルチモーダルリワードモデリング
Abstract要約: 視覚言語報酬モデルでは、アノテートされた選好ペアをトレーニングするが、これは収集に高価であり、不一致があり、ベンチマークの精度でランク付けされる。凍結したQwen3-VLバックボーンの中間層にリニアヘッドを置き、同じキャプションの摂動バージョンの上にウェブキャプションをスコアするように訓練した。
参考スコア（独自算出の注目度）: 42.14678889506751
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vision-language reward models are trained on annotated preference pairs, which are expensive to collect, can disagree, and are ranked by benchmark accuracy. We build one with no human preference label: a linear head on an intermediate layer of a frozen Qwen3-VL backbone, trained to score a web caption above a perturbed version of the same caption; labeled data enters only to select the layer. The layer is the decisive choice, worth 5.8 points over the last layer, and one recipe transferred without re-tuning beats or at least matches GPT-4o on three benchmarks at 32B, 6.6 points ahead on VL-RewardBench, from a few thousand parameters at about a thousandth of fine-tuning compute. At an equal pair budget, perturbations teach a frozen head 3 to 5 points more than curated RLAIF-V pairs. Because the backbone is frozen, the objective is convex, and the perturbation sampler specifies the reward, which the benchmark does not identify: two heads trained on disjoint halves of the same perturbations tie on the benchmark and differ by 6.4 points in hallucination judging. Retraining the head on the policy's own verifier-labeled candidates cuts caption hallucination by 5.1 CHAIR points and lifts image-generation pass rate by 5.4, while scoring lower on every reward benchmark. Together, an intermediate-layer probe, free same-image perturbations, and a verifier-driven bootstrap turn give a recipe for multimodal reward modeling that needs no annotator, costs a fraction of fine-tuning, and is specified by the comparisons it is trained on rather than by a benchmark rank.
Abstract（参考訳）: 視覚言語報酬モデルでは、アノテートされた選好ペアをトレーニングするが、これは収集に高価であり、不一致があり、ベンチマークの精度でランク付けされる。凍結したQwen3-VLバックボーンの中間層にリニアヘッドを置き、同じキャプションの摂動バージョンの上にウェブキャプションをスコアするように訓練した。この層は決定的な選択であり、最後の層で5.8ポイントの価値があり、少なくとも32Bで3つのベンチマークでGPT-4oと一致させることなく、VL-RewardBenchで数千のパラメータから1000分の1の微調整計算を行う。対の予算で、摂動は凍結したヘッドをRLAIF-V対よりも3から5ポイント多く教える。背骨が凍っているため、目的は凸であり、摂動サンプリング器は報酬を特定せず、ベンチマーク上で同じ摂動の解離半減期で訓練された2つの頭は、幻覚判定において6.4ポイント異なる。ポリシーの検証済み候補の首のトレーニングでは、キャプションの幻覚を5.1 CHAIRポイントに減らし、画像生成パスレートを5.4に引き上げ、すべての報酬ベンチマークで低いスコアを付ける。中間層プローブ、自由な同像摂動、検証器駆動のブートストラップターンは、アノテータを必要としないマルチモーダル報酬モデリングのレシピを提供し、微調整の分だけコストがかかり、ベンチマークランクではなくトレーニングされた比較によって指定される。

関連論文リスト

CircuitLens: Reasoning Circuits as Data Selection Signals for Reinforcement Learning with Verifiable Rewards [9.41727721095383]
サーキット推論スコア (Circuit Reasoning Score, CRS) は46個のアテンションヘッドから導出される選択信号である。 CRSは、より強い推論と回路のエンゲージメントがより良いトレーニングデータを生成するという直感的な仮説に逆らう。
論文参考訳（メタデータ） (2026-09-07T08:14:26Z)
On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文参考訳（メタデータ） (2026-08-31T06:35:07Z)
A Decomposable Probe for Few-Step Diffusion Models: Prompt, Latent, and Score Selectivity across Backbone Families and Distillation Paradigms [0.0]
拡散学生は50～1-8のネットワーク評価からテキスト・ツー・イメージ・推論を減らした。我々はスカラーを3つの層に沿って制御された摂動を注入する分解可能なプローブで置き換える。 Inception機能に対するブートストラップ中間のBures W22選択率について報告する。
論文参考訳（メタデータ） (2026-07-03T12:18:24Z)
Judging to Improve: A De-biased VLM-as-3D-Judge Protocol for Single-Image 3D Generation [0.08599681538174887]
クロスモデルVLM-as-3D-judgeは、安価な幾何学とCLIPプロキシが不足している単一画像から3Dメッシュの品質を確実にランク付けする。判事の好みは、強力なオープンジェネレータTRELLISを1つのアセットクラス(家具)で専門化できるか? VLM審査員をトレーニングと評価ループに押し込むと、ランク付けの失敗モードが決して発生しないため、我々の貢献は審査員の最適化グレードの硬化である。
論文参考訳（メタデータ） (2026-06-18T15:25:57Z)
CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文参考訳（メタデータ） (2026-06-02T13:41:43Z)
Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文参考訳（メタデータ） (2026-06-02T06:51:15Z)
SDR: Set-Distance Rewards for Radiology Report Generation [2.2462804525190427]
生成した埋め込みと参照埋め込みの間の集合間距離を連続的、置換不変な報酬として提案する。 2つのデータセットと3つのビジョン言語モデルにまたがって、GRPOによるセットからセットまでの距離に基づく報酬による後トレーニングは、教師付き微調整よりも一貫して優れています。同じ設定距離はテストタイムのベスト・オブ・N$選択を可能にする。
論文参考訳（メタデータ） (2026-05-30T00:10:51Z)
RewardHarness: Self-Evolving Agentic Post-Training [51.16917192137169]
RewardHarnessは、命令誘導画像編集のための自己進化型エージェント報酬フレームワークである。ツールやスキルのライブラリを、100もの好みのデモから反復的に進化させることによって、人間の好みに合わせている。画像編集評価ベンチマークの平均精度は47.4%で、GPT-5を5.3ポイント上回る。
論文参考訳（メタデータ） (2026-05-09T05:32:48Z)
MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
論文参考訳（メタデータ） (2026-05-07T16:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。