論文の概要: Reasoning as Representation: Rethinking Visual Reinforcement Learning in Image Quality Assessment
- arxiv url: http://arxiv.org/abs/2510.11369v1
- Date: Mon, 13 Oct 2025 13:11:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:30.369826
- Title: Reasoning as Representation: Rethinking Visual Reinforcement Learning in Image Quality Assessment
- Title（参考訳）: 表現としての推論:画像品質評価における視覚強化学習の再考
- Authors: Shijie Zhao, Xuanyu Zhang, Weiqi Li, Junlin Li, Li Zhang, Tianfan Xue, Jian Zhang,
- Abstract要約: 強化学習(RL)により訓練された推論に基づく画像品質評価(IQA)モデルは非常に一般化されている。
本稿では、RLトレーニングを通じて、冗長な視覚表現をコンパクトでクロスドメインなテキスト表現に変換するために、MLLMが推論能力を活用することを検証し、精査する。
RLで学習したこれらの一般化可能なテキスト表現と画像を直接整合させるために、コントラスト学習を利用する新しいアルゴリズムであるRALIを提案する。
- 参考スコア（独自算出の注目度）: 42.78148760975009
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning-based image quality assessment (IQA) models trained through reinforcement learning (RL) exhibit exceptional generalization, yet the underlying mechanisms and critical factors driving this capability remain underexplored in current research. Moreover, despite their superior performance, these models incur inference energy usage and latency orders of magnitude higher than their earlier counterparts, restricting their deployment in specific scenarios. Through extensive experiments, this paper verifies and elaborates that through RL training, MLLMs leverage their reasoning capability to convert redundant visual representations into compact, cross-domain aligned text representations. This conversion is precisely the source of the generalization exhibited by these reasoning-based IQA models. Building on this fundamental insight, we propose a novel algorithm, RALI, which employs contrastive learning to directly align images with these generalizable text representations learned by RL. This approach eliminates the reliance on reasoning processes and even obviates the need to load an LLM. For the quality scoring task, this framework achieves generalization performance comparable to reasoning-based models while requiring less than 5% of their model parameters and inference time.
- Abstract（参考訳）: 推論に基づく画像品質評価(IQA)モデルは、強化学習(RL)によって訓練され、非常に一般化されているが、その基礎となるメカニズムと重要な要因は、現在も研究が過小評価されている。
さらに、優れたパフォーマンスにもかかわらず、これらのモデルは推論エネルギーの使用量と遅延順序を以前のモデルよりも桁違いに高くし、特定のシナリオでのデプロイメントを制限する。
本稿では、RLトレーニングを通じて、冗長な視覚表現をコンパクトでクロスドメインなテキスト表現に変換するために、MLLMが推論能力を活用することを検証し、精査する。
この変換は、まさにこれらの推論に基づくIQAモデルによって示される一般化の源である。
この基本的知見に基づいて,RL が学習したこれらの一般化可能なテキスト表現と画像を直接整合させるコントラスト学習を用いた新しいアルゴリズム RALI を提案する。
このアプローチは推論プロセスへの依存をなくし、LLMをロードする必要をなくす。
品質評価タスクでは、モデルパラメータと推論時間の5%未満を必要としながら、推論モデルに匹敵する一般化性能を達成する。
関連論文リスト
- How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。
推論を原子核スキルに分解する新しいベンチマークを導入する。
SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
論文 参考訳（メタデータ） (2025-12-30T08:16:20Z) - Coupled Variational Reinforcement Learning for Language Model General Reasoning [83.82392089177841]
変分推論と強化学習を橋渡しするために,textitbCoupled bVari bReinforcement bLearning (CoVRL)を提案する。
CoVRLはベースモデルよりも12.4%向上し、最先端の検証不要なRLベースラインよりも2.3%向上した。
論文 参考訳（メタデータ） (2025-12-14T07:03:51Z) - Did Models Sufficient Learn? Attribution-Guided Training via Subset-Selected Counterfactual Augmentation [61.248535801314375]
Subset-Selected Counterfactual Augmentation (SS-CA)
我々は,モデル予測を選択的に変更可能な最小空間領域集合を識別するために,対実的LIMAを開発した。
実験により,SS-CAは分布内テストデータ(ID)の一般化を改善し,分布外ベンチマーク(OOD)において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-11-15T08:39:22Z) - Enhancing Diffusion-based Restoration Models via Difficulty-Adaptive Reinforcement Learning with IQA Reward [93.04811239892852]
強化学習(Reinforcement Learning, RL)は近年, 拡散モデルに組み入れられている。
本稿では,拡散型修復モデルにRLを効果的に組み込む方法について検討する。
論文 参考訳（メタデータ） (2025-11-03T14:57:57Z) - Vision-EKIPL: External Knowledge-Infused Policy Learning for Visual Reasoning [23.00801828244201]
本稿では,textbfVision-EKIPLと呼ばれる新しいRLフレームワークを提案する。
RLトレーニングプロセス中に外部補助モデルによって生成された高品質なアクションを導入し、ポリシーモデルの最適化を導く。
最先端(SOTA)と比較して、Reason-RFT-CoTベンチマークで最大5%の性能改善を実現している。
論文 参考訳（メタデータ） (2025-06-07T16:37:46Z) - Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [82.43575191712726]
本稿では,強化学習が推論に与える影響を明らかにするための,きめ細かい分析フレームワークを提案する。
本フレームワークは,RLトレーニングの恩恵を受けると仮定された重要な要素を具体的に調査する。
論文 参考訳（メタデータ） (2025-06-05T07:53:59Z) - Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [66.61292196146016]
RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。
本研究はRLVRの現状を批判的に考察する。
現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
論文 参考訳（メタデータ） (2025-04-18T17:59:56Z) - Rethinking RL Scaling for Vision Language Models: A Transparent, From-Scratch Framework and Comprehensive Evaluation Scheme [36.34443944082215]
本研究は、視覚モデル(VLM)における強化学習(RL)のための透明でゼロスクラッチなフレームワークを導入する。
複数のモデルとデータセットにまたがって検証される、最小限の機能を備えた4ステップパイプラインを提供する。
さらに、トレーニング力学と反射行動を評価するために、標準化された評価手法を提案する。
論文 参考訳（メタデータ） (2025-04-03T13:53:28Z) - Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。
複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。
Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。
我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
論文 参考訳（メタデータ） (2025-03-31T17:55:23Z) - OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles [91.88062410741833]
我々はOpenVLThinkerを紹介した。OpenVLThinkerはオープンソースの大規模視覚言語モデル(LVLM)の1つである。
OpenVLThinker-7Bは、数学的および一般的な推論を必要とする6つのベンチマークで一貫して性能を向上することを示す。
論文 参考訳（メタデータ） (2025-03-21T17:52:43Z) - An Empirical Analysis of Speech Self-Supervised Learning at Multiple Resolutions [0.3495246564946556]
我々は,CCA(Canonical correlation Analysis)とMI(Mutual Information)に着目し,マルチスケールアーキテクチャにおけるレイヤワイズ表現の初期解析を行う。
SuPERBタスクの性能改善は、主にダウンサンプリング自体よりも、補助的な低分解能損失によるものであることが判明した。
これらの知見はMR-HuBERTのマルチスケールな性質に関する仮定に挑戦し、より良い表現の学習から計算効率を遠ざけることの重要性を動機付けている。
論文 参考訳（メタデータ） (2024-10-31T14:09:05Z) - Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。
我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。
AMPLIFYは,幅広いタスクに対して約10～25%の精度向上を実現している。
論文 参考訳（メタデータ） (2023-05-19T04:46:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。