論文の概要: GoldiCLIP: The Goldilocks Approach for Balancing Explicit Supervision for Language-Image Pretraining

• arxiv url: http://arxiv.org/abs/2603.24804v1
• Date: Wed, 25 Mar 2026 20:33:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:47.98489
• Title: GoldiCLIP: The Goldilocks Approach for Balancing Explicit Supervision for Language-Image Pretraining
• Title（参考訳）: GoldiCLIP:Goldilocksアプローチによる言語画像事前学習のための明示的スーパービジョンのバランス
• Authors: Deen Dayal Mohan, Hossein Souri, Vitali Petsiuk, Juhong Min, Gopal Sharma, Luowei Zhou, Suren Kumar,
• Abstract要約: 我々は、GoldiCLIPという、Goldilocksの原理に基づいて構築された、監督信号の適切なバランスを見つけるフレームワークを提示する。 筆者らの多面的学習フレームワークは,(1) テキストに依存しない特徴とテキスト条件の両方を整合させるテキスト条件の自己蒸留法,(2) エンコーダ統合デコーダと視覚質問応答(VQA)の目的とを組み合わせ,キャプションのようなクエリを超えてエンコーダを一般化する。
• 参考スコア（独自算出の注目度）: 16.806385071639866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Until recently, the success of large-scale vision-language models (VLMs) has primarily relied on billion-sample datasets, posing a significant barrier to progress. Latest works have begun to close this gap by improving supervision quality, but each addresses only a subset of the weaknesses in contrastive pretraining. We present GoldiCLIP, a framework built on a Goldilocks principle of finding the right balance of supervision signals. Our multifaceted training framework synergistically combines three key innovations: (1) a text-conditioned self-distillation method to align both text-agnostic and text-conditioned features; (2) an encoder integrated decoder with Visual Question Answering (VQA) objective that enables the encoder to generalize beyond the caption-like queries; and (3) an uncertainty-based weighting mechanism that automatically balances all heterogeneous losses. Trained on just 30 million images, 300x less data than leading methods, GoldiCLIP achieves state-of-the-art among data-efficient approaches, improving over the best comparable baseline by 2.2 points on MSCOCO retrieval, 2.0 on fine-grained retrieval, and 5.9 on question-based retrieval, while remaining competitive with billion-scale models. Project page: https://petsi.uk/goldiclip.
• Abstract（参考訳）: 最近まで、大規模な視覚言語モデル(VLM)の成功は主に数十億サンプルのデータセットに依存しており、進歩の障壁となっている。 最新の研究は、監督品質を改善して、このギャップを埋め始めたが、各研究は、対照的な事前訓練における弱点のサブセットに過ぎなかった。 我々は、GoldiCLIPという、Goldilocksの原理に基づいて構築された、監督信号の適切なバランスを見つけるフレームワークを提示する。 筆者らの多面的学習フレームワークは,(1) テキストに依存しない特徴とテキスト条件の両方を整合させるテキスト条件の自己蒸留法,(2) エンコーダとVisual Question Answering (VQA) の目的と,(2) エンコーダがキャプションのようなクエリを超えて一般化できるような,不確実性に基づく重み付け機構,の3つの重要なイノベーションを相乗的に組み合わせている。 わずか3000万の画像と300万の少ないデータで訓練されたGoldiCLIPは、データ効率のよいアプローチの最先端を実現し、MSCOCO検索では2.2ポイント、きめ細かい検索では2.0、質問ベースの検索では5.9ポイント、数十億規模のモデルでは競争力を維持している。 プロジェクトページ: https://petsi.uk/goldiclip.com

関連論文リスト

• DeepGen 1.0: A Lightweight Unified Multimodal Model for Advancing Image Generation and Editing [67.77471070868852]
  DeepGen 1.0は、画像生成と編集のための軽量な5B統一モデルである。 わずか5000万のサンプルでトレーニングされており、WISEでは80BのHunyuan Imageを28%、UniREditBenchでは27BのQwen-Image-Editを37%上回っている。 トレーニングコード、ウェイト、データセットをオープンソース化することで、統合マルチモーダルリサーチを民主化する、効率的で高性能な代替手段を提供します。
  論文  参考訳（メタデータ） (2026-02-12T17:44:24Z)
• Weak to Strong: VLM-Based Pseudo-Labeling as a Weakly Supervised Training Strategy in Multimodal Video-based Hidden Emotion Understanding Tasks [4.888851550406879]
  本稿では,映像中の「概念的感情」の自動認識に取り組むための弱視的枠組みを提案する。 実験により、厳密なクラス不均衡にもかかわらず、提案手法は以前の作業で0.6以下から0.69以上に上昇することが示された。
  論文  参考訳（メタデータ） (2026-02-08T17:02:55Z)
• CoT-Saliency: Unified Chain-of-Thought Reasoning for Heterogeneous Saliency Tasks [96.64597365827046]
  本稿では,3つの運用上不均一なサリエンシタスクを共同で処理する,最初の統合フレームワークを提案する。 タスクの不均一性を橋渡しする視覚言語モデル(VLM)において、チェーン・オブ・ソート(CoT)推論プロセスを導入する。 我々は,全タスクにまたがる特別なSOTA手法と強力なクローズドソースVLMの整合性を示す。
  論文  参考訳（メタデータ） (2025-11-01T04:37:01Z)
• Detect Anything via Next Point Prediction [51.55967987350882]
  Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-10-14T17:59:54Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• CLIP-PING: Boosting Lightweight Vision-Language Models with Proximus Intrinsic Neighbors Guidance [14.849943391904882]
  CLIP-PING: Proximus Intrinsic Nebors Guidanceを用いたコントラスト言語画像事前学習を提案する。 CLIP-Pingブートストラップは任意の事前訓練エンコーダから抽出した単調な特徴を抽出し、近位近傍サンプルの本質的なガイダンスを得る。 実験の結果、CLIP-PINGはゼロショットの一般化とクロスモーダル検索タスクにおいて、明らかに仲間を上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-12-05T04:58:28Z)
• Three ways to improve feature alignment for open vocabulary detection [88.65076922242184]
  ゼロショットオープンボキャブラリ検出の鍵となる問題は、視覚的特徴とテキスト的特徴の整合性である。 以前のアプローチでは、特徴ピラミッドと検出ヘッドをゼロからトレーニングし、事前トレーニング中に確立された視覚テキストの特徴アライメントを壊す。 本稿では,これらの問題を緩和する3つの方法を提案する。まず,テキストの埋め込みを強化するための簡単なスキームを用いて,学習中に見られる少数のクラスへの過度な適合を防止する。 次に、特徴ピラミッドネットワークと検出ヘッドをトレーニング可能なショートカットを含むように変更する。 最後に、より大きなコーパスを活用するために、自己学習アプローチが使用される。
  論文  参考訳（メタデータ） (2023-03-23T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。