論文の概要: Pretraining Frequency Predicts Compositional Generalization of CLIP on Real-World Tasks

• arxiv url: http://arxiv.org/abs/2502.18326v1
• Date: Mon, 17 Feb 2025 16:52:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 02:21:24.501910
• Title: Pretraining Frequency Predicts Compositional Generalization of CLIP on Real-World Tasks
• Title（参考訳）: 実世界の課題におけるCLIPの構成的一般化予測の事前予測
• Authors: Thaddäus Wiedemer, Yash Sharma, Ameya Prabhu, Matthias Bethge, Wieland Brendel,
• Abstract要約: CLIPは、事前学習データで観測されたオブジェクトをアンタングルにすることで、それらを簡単に再構成できることを示す。 実際のデータキュレーションでは,オブジェクトの分散化が一般化を促進することが示唆された。
• 参考スコア（独自算出の注目度）: 25.94703673275305
• License:
• Abstract: We investigate the success conditions for compositional generalization of CLIP models on real-world data through performance prediction. Prior work shows that CLIP requires exponentially more pretraining data for linear performance gains on individual concepts. This sample-inefficient scaling could be mitigated if CLIP systematically understood new inputs as compositions of learned components, allowing rare observation to be mapped to common concepts. To explore CLIP's compositional generalization ability, we filter retrieval corpora for samples with object combinations not present in the pretraining corpus. We show that CLIP's performance on these samples can be accurately predicted from the pretraining frequencies of individual objects. Our findings demonstrate that CLIP learns to disentangle objects observed in its pretraining data and can recompose them straightforwardly. Additionally, we are the first to show how this ability scales with pretraining data. For data curation in practice, our results suggest that balancing object occurrences improves generalization, which should benefit CLIP's efficiency and accuracy without scaling data volume.
• Abstract（参考訳）: 実世界のデータに基づくCLIPモデルの合成一般化における性能予測による成功条件について検討する。 以前の研究によると、CLIPは個々の概念に対する線形パフォーマンス向上のために、指数関数的により事前訓練されたデータを必要とする。 このサンプル非効率なスケーリングは、CLIPが学習コンポーネントの合成として新しい入力を体系的に理解し、希少な観測を共通の概念にマッピングすることで緩和することができる。 CLIPの合成一般化能力を調べるために,事前学習コーパスに存在しないオブジェクトの組み合わせを持つサンプルの検索コーパスをフィルタする。 これらのサンプルに対するCLIPの性能は、個々の物体の事前学習周波数から正確に予測できることを示す。 以上の結果から,CLIPは事前学習データから観察された物体を分解し,直接分解できることが示唆された。 さらに、この能力が事前トレーニングデータによってどのように拡張されるかを示すのはこれが初めてです。 実際のデータキュレーションでは、オブジェクトのバランスをとることで一般化が向上し、データのボリュームをスケールすることなくCLIPの効率と精度が向上する可能性が示唆された。

関連論文リスト

• Self-Calibrated CLIP for Training-Free Open-Vocabulary Segmentation [19.749490092520006]
  Self-Calibrated CLIP (SC-CLIP) は、CLIPを校正してより微細な言語表現を生成する訓練不要の手法である。 SC-CLIPはバニラCLIP ViT-L/14の性能を6.8倍向上させる。
  論文  参考訳（メタデータ） (2024-11-24T15:14:05Z)
• Deciphering the Role of Representation Disentanglement: Investigating Compositional Generalization in CLIP Models [3.9326597037266455]
  構成分布(C-OoD)の一般化はCLIPモデルでは比較的未探索である。 本研究は,CLIPモデルの一般化において,画像およびテキスト表現の歪み,特に構成要素について重要な役割を担っていることを明らかにした。
  論文  参考訳（メタデータ） (2024-07-08T13:04:40Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Calibrating Multi-modal Representations: A Pursuit of Group Robustness without Annotations [19.800907485589402]
  CLIPのような微調整済みの視覚言語モデルは、さまざまな下流タスクで成功している。 これらの調整されたモデルは高度に専門化され、実際の展開の実用性が制限される傾向にある。 微調整CLIPのための軽量表現校正法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T01:47:17Z)
• Demystifying CLIP Data [86.34045746910114]
  Contrastive Language-Image Pre-Training (CLIP) はコンピュータビジョンの先進的な研究と応用を行っている。 メタデータ変換言語画像事前学習(MetaCLIP)について紹介する。 MetaCLIPは生のデータプールとメタデータ(CLIPの概念から派生したもの)を取り、メタデータの分布に対してバランスの取れたサブセットを生成する。
  論文  参考訳（メタデータ） (2023-09-28T17:59:56Z)
• Understanding In-Context Learning via Supportive Pretraining Data [55.648777340129364]
  In-context Learning (ICL)は、推論時にいくつかの例を示すだけで、様々なNLPタスクにおける言語モデルの性能を改善する。 ICLの能力がなぜ出現するかはよく分かっていないが、モデルがそのようなデモで特別に訓練されたことはない。 我々の研究は、インスタンスレベルの事前学習データを分析して、ICLを理解するための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2023-06-26T22:14:04Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Foundational Models for Continual Learning: An Empirical Study of Latent Replay [17.322679682451597]
  本稿では,下流の連続学習シナリオの基礎として,事前学習型視覚モデルの有効性について検討する。 大規模ベンチマークシナリオにおける各種事前学習モデルの有効性を,潜時および生データ空間におけるバニラ再生設定と比較した。
  論文  参考訳（メタデータ） (2022-04-30T19:11:37Z)
• The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
  連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。 本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。 単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
  論文  参考訳（メタデータ） (2022-01-17T09:09:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。