論文の概要: ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP
- arxiv url: http://arxiv.org/abs/2606.26794v1
- Date: Thu, 25 Jun 2026 09:27:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.226451
- Title: ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP
- Title（参考訳）: ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP
- Abstract要約: 提案するReasonCLIP-58Mは,大規模推論監視をCLIPスタイルのモデルに組み込む連続事前学習フレームワークである。
我々は、ゼロショット検索性能を向上しつつ、視覚的に接地されたコモンセンスと合成推論を改善するReasonCLIPのファミリーを訓練する。
- 参考スコア（独自算出の注目度）: 82.88378269290965
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: CLIP and its variants are widely adopted visual backbones in multimodal systems, but their pretraining remains dominated by descriptive image-text alignment. As downstream applications increasingly demand visually grounded commonsense inference and compositional reasoning, it remains unclear whether CLIP-style encoders can support such reasoning without architectural changes. To address this, we present ReasonCLIP-58M, a continual pretraining framework that integrates large-scale reasoning supervision into CLIP-style models through our two-stage strategy, which progressively integrates reasoning signals while preserving descriptive alignment, followed by category-structured reasoning supervision. To support this framework, we construct two complementary datasets and a benchmark: ReasonLite-42M, with open-form, visually verifiable reasoning captions; ReasonPro-16M, with category-specific reasoning supervision; and RCLIP-Bench for diagnostic evaluation of visually grounded reasoning. We train a family of ReasonCLIP that improves visually grounded commonsense and compositional reasoning while also enhancing zero-shot retrieval performance. As a drop-in visual encoder for multimodal large language models such as LLaVA-NeXT, ReasonCLIP delivers consistent gains without additional inference cost, demonstrating that structured reasoning supervision enhances the expressive capacity of CLIP-style visual representations. All datasets, models, and training code are available at https://github.com/RISys-Lab/ReasonCLIP.
- Abstract（参考訳）: CLIPとその変異体は、マルチモーダルシステムで広く採用されている視覚バックボーンであるが、その事前訓練は、説明的な画像テキストアライメントによって支配されている。
下流アプリケーションでは、視覚的に基礎付けられたコモンセンス推論や構成推論がますます求められているため、CLIPスタイルのエンコーダがアーキテクチャ上の変更なしにそのような推論をサポートできるかどうかは不明だ。
そこで本稿では,2段階戦略を通じてCLIPスタイルのモデルに大規模推論監視を組み込んだ継続的事前学習フレームワークReasonCLIP-58Mについて述べる。
このフレームワークをサポートするために、我々は2つの補完的データセットとベンチマークを構築する。ReasonLite-42M、オープン形式で視覚的に検証可能な推論キャプション、ReasonPro-16M、視覚的に根拠付けられた推論の診断のためのRCLIP-Bench。
我々は、ゼロショット検索性能を向上しつつ、視覚的に接地されたコモンセンスと合成推論を改善するReasonCLIPのファミリーを訓練する。
LLaVA-NeXTのようなマルチモーダルな大規模言語モデルのためのドロップインビジュアルエンコーダとして、ReasonCLIPは追加の推論コストなしで一貫したゲインを提供する。
すべてのデータセット、モデル、トレーニングコードはhttps://github.com/RISys-Lab/ReasonCLIPで公開されている。
関連論文リスト
- CS-CLIP: Compositional Scene Graph-guided CLIP for Robust Compositional Reasoning [16.760639344669386]
視覚言語モデル(VLM)は、構成的推論ベンチマークにおいて強い性能を示す。
既存の構成性に配慮したVLMは、要素特異的なバイアスを示し、しばしば特定の構成要素上でバニラCLIPを過小評価する。
本研究では、シーングラフを用いて構成要素を識別し、選択マスキングにより構造負を構成する合成シーングラフ誘導CLIP(CS-CLIP)を提案する。
論文 参考訳（メタデータ） (2026-09-08T04:37:06Z) - Bridging Visual Representation and Reinforcement Learning from Verifiable Rewards in Large Vision-Language Models [35.97638821723309]
KAWHIは、構造化された視覚情報を均一な報酬ポリシー最適化手法に明示的に組み込む、プラグアンドプレイ報酬再重み付け機構である。
階層的幾何的アグリゲーションにより意味的に有意な領域を適応的に局在させ、構造化属性を介して視覚クリティカルなアテンションヘッドを識別し、段落レベルの信用再配置を行い、空間的な視覚的証拠を意味的に決定的な推論ステップと整合させる。
論文 参考訳（メタデータ） (2026-03-28T18:40:14Z) - Dr. Seg: Revisiting GRPO Training for Visual Large Language Models through Perception-Oriented Design [39.867923322793246]
本稿では,Look-to-Confirm 機構と Distribution-Ranked Reward モジュールで構成されるシンプルな GRPO ベースのフレームワークである Dr.Seg を提案する。
実験によると、Dr.Segは強力な一般化を維持しながら、複雑な視覚シナリオのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2026-02-25T07:59:42Z) - Unified Personalized Reward Model for Vision Generation [27.496220369122494]
視覚生成のためのパーソナライズされた報酬モデルであるUnifiedReward-Flexを提案する。
我々はまず,高度閉ソースVLMからブートストラップSFTまで,構造化された高品質な推論トレースを蒸留した。
次に、慎重にキュレートされた選好ペア上で直接選好最適化(DPO)を行い、推論の忠実度と識別的アライメントをさらに強化する。
論文 参考訳（メタデータ） (2026-02-02T17:44:21Z) - Explain Before You Answer: A Survey on Compositional Visual Reasoning [74.27548620675748]
構成的視覚推論は、マルチモーダルAIにおける重要な研究フロンティアとして登場した。
本調査は,トップ会場(CVPR,ICCV,NeurIPS,ICML,ACLなど)から260以上の論文を体系的にレビューする。
次に60以上のベンチマークとそれに対応するメトリクスを、基底精度、連鎖忠実性、高分解能知覚などの次元に沿って探索する。
論文 参考訳（メタデータ） (2025-08-24T11:01:51Z) - Reinforcing Video Reasoning Segmentation to Think Before It Segments [67.5703457389657]
本稿では,ビデオ推論セグメンテーションのためのLVLMであるVeason-R1を紹介する。
Veason-R1 は、Chain-of-Thought trajectories を付加した Group Relative Policy Optimization (O) を通じて訓練される。
空間的アライメントと時間的整合性を高める包括的報酬機構を組み込んだ。
Veason-R1は、複数のベンチマークで最先端のパフォーマンスを達成し、先行技術を上回っている。
論文 参考訳（メタデータ） (2025-08-15T15:34:56Z) - Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。
2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
論文 参考訳（メタデータ） (2025-08-15T06:43:51Z) - CoRGI: Verified Chain-of-Thought Reasoning with Post-hoc Visual Grounding [1.6257248483123767]
textbfCoRGI(textbfChain textbffof textbfReasoning with textbfGrounded textbfInsights)は、チェーンオブ思考出力のポストホック検証により、推論信頼性を高めるフレームワークである。
論文 参考訳（メタデータ） (2025-08-01T07:17:12Z) - DiffCLIP: Differential Attention Meets CLIP [57.396578974401734]
本稿では,CLIPアーキテクチャに差分アテンション機構を拡張する新しい視覚言語モデルであるDiffCLIPを提案する。
最小限の追加パラメータで、DiffCLIPは画像テキスト理解タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-03-09T14:04:09Z) - Differential Contrastive Training for Gaze Estimation [24.53837441433775]
CLIPの助けを借りて視線推定性能を向上させる新しい微分コントラスト訓練戦略を提案する。
視覚的外観認識ブランチとセマンティック微分認識ブランチからなる微分コントラストゲイズ推定ネットワーク(DCGaze)を導入する。
論文 参考訳（メタデータ） (2025-02-27T14:23:20Z) - Diffusion Feedback Helps CLIP See Better [40.125318318373715]
対照的に、CLIP(Contrastive Language- Image Pre-Training)は、ドメインとモダリティをまたいだオープンワールド表現の抽象化に優れている。
CLIPには、方向、量、色、構造をほとんど区別できないような、深刻な視覚的欠点がある。
自己教師付き拡散プロセスによって視覚的欠点を克服するCLIPモデルに対する後学習手法を提案する。
論文 参考訳（メタデータ） (2024-07-29T17:00:09Z) - CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model [55.321010757641524]
CLIP4STRは,CLIPのイメージエンコーダとテキストエンコーダ上に構築された,シンプルで効果的なSTRメソッドである。
モデルサイズ、事前トレーニングデータ、トレーニングデータの観点からCLIP4STRをスケールし、13のSTRベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-05-23T12:51:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。