論文の概要: Of Chains and Gains: What Reinforcement Learning changes on Reasoning-based Image Quality Assessment
- arxiv url: http://arxiv.org/abs/2610.33203v1
- Date: Fri, 23 Oct 2026 18:49:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.270839
- Title: Of Chains and Gains: What Reinforcement Learning changes on Reasoning-based Image Quality Assessment
- Title（参考訳）: 連鎖と利得:推論に基づく画像品質評価における強化学習の変化
- Abstract要約: RLVR(Reinforcement Learning with Verifiable Rewards)は、画像品質評価(IQA)における大規模視覚言語モデル(VLM)の性能を改善した。
我々は,利得がサンプリング効果を超えているか,明示的な推論にどのように依存しているかを厳格に検討する。
RLVRは品質評価を高め、より有用な連鎖を生成するが、より良いスコアは明確な推論に強く依存しない。
- 参考スコア（独自算出の注目度）: 35.24195851337003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has improved the performance of large Vision-Language Models (VLMs) on image quality assessment (IQA). Existing approaches often attribute these gains to improved reasoning before scoring, supported by increasingly plausible Chain-of-Thought (CoT). However, whether these gains exceed sampling effects and how they depend on explicit reasoning remain unclear. We rigorously investigate these questions through sampling-aware evaluation, controlled reasoning interventions, and shortcut experiments. We find that RL-trained models outperform base models under large-budget $\operatorname{max}_g@k$ evaluation, while improvements beyond averaging are concentrated in-distribution. RLVR produces chains that raise base-model performance when transplanted and improves scoring with the chain held fixed. Yet scoring becomes less dependent on the chain during inference, more clearly at 7B than at 32B. Steering the probed quality direction in thinking tokens also has little effect on scoring. Finally, RL can improve scoring accuracy by exploiting textual cues correlated with mean opinion scores (MOSs), which could inflate benchmark performance. Together, these findings show that RLVR raises quality scoring and produces more useful chains, but that better scoring does not imply a stronger reliance on explicit reasoning, while score-based rewards can also encourage reliance on quality-irrelevant shortcuts. We hope this preliminary study can enlighten more and more concrete reasoning schemes in IQA.
- Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は、画像品質評価(IQA)における大規模な視覚言語モデル(VLM)の性能を改善した。
既存のアプローチでは、これらの利得は、スコア付け前の推論の改善によるものと考えられており、CoT (Platusible Chain-of-Thought) が支持している。
しかし、これらの値がサンプリング効果を超えているか、明示的な推論にどのように依存しているかは、まだ不明である。
我々は,これらの質問に対して,サンプリング・アウェア評価,制御推論介入,ショートカット実験を通じて厳密に調査する。
RL学習モデルは,大予算の$\operatorname{max}_g@k$評価においてベースモデルよりも優れており,平均以上の改善は流通に集中している。
RLVRは移植時にベースモデル性能を高めるチェーンを生成し、固定されたチェーンでスコアを改善する。
しかし、スコアリングは、推論中に連鎖に依存しなくなり、より明確には7Bで32Bで始まる。
思考トークンにおける探究された品質方向のステアリングも、スコアリングにはほとんど影響しない。
最後に、RLは平均評価スコア(MOS)と相関するテキストキューを利用して評価精度を向上し、ベンチマーク性能を向上することができる。
これらの結果から、RLVRは品質評価を高め、より有用な連鎖を創出するが、より良いスコアは明確な推論に強く依存するものではなく、スコアベースの報酬は品質に関係のないショートカットへの依存を促進することが示唆された。
この予備的な研究がIQAのより具体的な推論スキームを啓蒙できることを願っている。
関連論文リスト
- RECAP: Looking Once Is Not Enough for Vision-Language Reasoning [16.528971418792715]
本研究は,画像証拠の時間的局所的再活性化である視覚的再考によるギャップについて検討する。
本稿では,リビジットトレースをクレジットアサインメント信号に変換するトレーニング手法RECAPを提案する。
より大きなLoRA調整モデル、中国のゼロショットベンチマーク、視覚的摂動、人的評価の結果は、画像基底推論の堅牢な改善を示している。
論文 参考訳（メタデータ） (2026-10-22T07:04:23Z) - What are Key Factors for Updates in RL for LLM Reasoning? [41.37684066124904]
本研究では,ロールアウト毎の勾配ステップ数によって決定される非政治的度合いの違いが,重要サンプリング率の分布とクリッピング挙動に大きく影響していることを示す。
これらの結果から, トークン群間の境界を, 重要サンプリング比の実験的分散に応じてクリッピングする適応クリップポリシー最適化 (ACPO) を提案する。
論文 参考訳（メタデータ） (2026-06-21T16:14:46Z) - Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short [51.667769734342635]
検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力向上のための主要なパラダイムとなっている。
本研究では,非多変量報酬群を判定システムにルーティングする適応学習フレームワークであるReasoning Arenaを提案する。
我々は、Reasoning Arenaが、競争数学やコーディングベンチマークにおいて、RLVRベースラインを平均で7.6%上回っていることを示す。
論文 参考訳（メタデータ） (2026-06-08T11:57:17Z) - Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。
本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。
CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
論文 参考訳（メタデータ） (2026-05-14T08:22:21Z) - Good Reasoning Makes Good Demonstrations: Implicit Reasoning Quality Supervision via In-Context Reinforcement Learning [15.270912634473143]
Reinforcement Learning with Verifiable Rewardsは、大規模言語モデルの推論を改善する。
高品質のソリューションは、低品質のソリューションよりも効果的なデモとして機能する。
論文 参考訳（メタデータ） (2026-03-10T15:33:07Z) - $\textbf{Re}^{2}$: Unlocking LLM Reasoning via Reinforcement Learning with Re-solving [75.29519604607111]
検証可能な報奨(RLVR)による強化学習は、大規模言語モデル(LLM)の推論性能を高めることを約束している。
チェーン・オブ・シークレット(CoT)の初期方向や品質が最適以下である場合、モデルが正しい答えに到達できないことがよく示される。
再解決による強化学習 (Reinforcement Learning with Re-solving, Re$2$) を導入し, LLM が非生産的推論経路を柔軟に放棄し,必要ならば解法を再開することを学ぶ。
論文 参考訳（メタデータ） (2026-03-07T13:17:46Z) - LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。
従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。
本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
論文 参考訳（メタデータ） (2025-10-16T17:55:11Z) - Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models [50.84995206660551]
本研究では,条件付きアドバンテージ・エスティマティオン(CANON)を導入し,その方向を推定せずに目標距離の影響を増幅する。
エントロピーに基づくCANONは、数学推論と高複雑性論理タスクの両方において、従来手法よりも一貫して優れている。
論文 参考訳（メタデータ） (2025-09-28T16:33:07Z) - SPARK: Synergistic Policy And Reward Co-Evolving Framework [84.22494672256894]
我々は、RLVR上に構築された効率的でオン・ポリティクス、安定した手法であるSPARK(Synergistic Policy and Reward Co-Evolving Framework)を紹介する。
ロールアウトと正確性データを捨てる代わりに、SPARKはこの貴重な情報をリサイクルし、生成的報酬モデルとしてモデル自体をトレーニングする。
SPARK は複数の LLM モデルと LVLM モデル,および複数の推論,報酬モデル,一般ベンチマークにおいて,大幅な性能向上を実現していることを示す。
論文 参考訳（メタデータ） (2025-09-26T17:50:12Z) - ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。
人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
論文 参考訳（メタデータ） (2025-09-22T13:00:35Z) - Rethinking Reasoning Quality in Large Language Models through Enhanced Chain-of-Thought via RL [19.659532349434418]
強化学習(Reinforcement Learning, RL)は、近年、大規模言語モデルの推論能力を強化する主要なパラダイムとなっている。
しかし、数学やプログラミングのベンチマークで一般的に使われるルールベースの報酬関数は、応答形式と正しさのみを評価する。
本稿では,報酬と有利な信号の両方を再生するプラグイン・アンド・プレイのRL報酬フレームワークであるDynamic Reasoning Efficiency Reward (DRER)を提案する。
論文 参考訳（メタデータ） (2025-09-07T11:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。