論文の概要: Synergy and Diversity in CLIP: Enhancing Performance Through Adaptive Backbone Ensembling

• arxiv url: http://arxiv.org/abs/2405.17139v1
• Date: Mon, 27 May 2024 12:59:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 15:22:54.647869
• Title: Synergy and Diversity in CLIP: Enhancing Performance Through Adaptive Backbone Ensembling
• Title（参考訳）: CLIPのシナジーと多様性 - 適応的なバックボーン構成によるパフォーマンス向上
• Authors: Cristian Rodriguez-Opazo, Ehsan Abbasnejad, Damien Teney, Edison Marrese-Taylor, Hamed Damirchi, Anton van den Hengel,
• Abstract要約: コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。 本稿では,CLIPを訓練した視覚バックボーンの違いについて検討する。 方法によって、最高の単一のバックボーンよりも39.1%の精度が著しく向上する。
• 参考スコア（独自算出の注目度）: 58.50618448027103
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Contrastive Language-Image Pretraining (CLIP) stands out as a prominent method for image representation learning. Various architectures, from vision transformers (ViTs) to convolutional networks (ResNets) have been trained with CLIP to serve as general solutions to diverse vision tasks. This paper explores the differences across various CLIP-trained vision backbones. Despite using the same data and training objective, we find that these architectures have notably different representations, different classification performance across datasets, and different robustness properties to certain types of image perturbations. Our findings indicate a remarkable possible synergy across backbones by leveraging their respective strengths. In principle, classification accuracy could be improved by over 40 percentage with an informed selection of the optimal backbone per test example.Using this insight, we develop a straightforward yet powerful approach to adaptively ensemble multiple backbones. The approach uses as few as one labeled example per class to tune the adaptive combination of backbones. On a large collection of datasets, the method achieves a remarkable increase in accuracy of up to 39.1% over the best single backbone, well beyond traditional ensembles
• Abstract（参考訳）: コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。 視覚変換器(ViT)から畳み込みネットワーク(ResNet)まで、様々なアーキテクチャがCLIPで訓練され、多様な視覚タスクの一般的なソリューションとして機能している。 本稿では,CLIPを訓練した視覚バックボーンの違いについて検討する。 同じデータとトレーニングの目的を使っても、これらのアーキテクチャは明らかに異なる表現、データセット間の異なる分類性能、特定の種類の画像摂動に対する異なるロバスト性を持っている。 以上の結果から, 背骨間の相乗効果は, それぞれの強度を生かしうる可能性が示唆された。 この知見を用いて,複数のバックボーンを適応的にアンサンブルするための,単純かつ強力なアプローチを開発した。 このアプローチでは、クラス毎に1つのラベル付き例を使用して、バックボーンの適応的な組み合わせを調整する。 データセットの大規模な収集では、従来のアンサンブルをはるかに超えて、最高の単一のバックボーンよりも39.1%の精度が著しく向上する。

関連論文リスト

• Discriminative Anchor Learning for Efficient Multi-view Clustering [59.11406089896875]
  マルチビュークラスタリング(DALMC)のための識別的アンカー学習を提案する。 元のデータセットに基づいて、識別的なビュー固有の特徴表現を学習する。 これらの表現に基づいて異なるビューからアンカーを構築することで、共有アンカーグラフの品質が向上します。
  論文  参考訳（メタデータ） (2024-09-25T13:11:17Z)
• Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
  人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。 人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。 本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T02:02:57Z)
• Unveiling Backbone Effects in CLIP: Exploring Representational Synergies and Variances [49.631908848868505]
  コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。 各種ニューラルアーキテクチャにおけるCLIP性能の違いについて検討する。 我々は、複数のバックボーンからの予測を組み合わせるためのシンプルで効果的なアプローチを提案し、最大6.34%のパフォーマンス向上につながった。
  論文  参考訳（メタデータ） (2023-12-22T03:01:41Z)
• Learning Visual Representation from Modality-Shared Contrastive Language-Image Pre-training [88.80694147730883]
  本稿では,多種多様なモダリティ共有コントラスト言語-画像事前学習(MS-CLIP)フレームワークについて検討する。 学習条件下では、視覚と言語信号のためのほとんど統一されたエンコーダが、より多くのパラメータを分離する他のすべてのバリエーションより優れていることが観察された。 我々のアプローチは、24の下流視覚タスクのコレクションに基づいて、線形探索においてバニラCLIPを1.6ポイント上回ります。
  論文  参考訳（メタデータ） (2022-07-26T05:19:16Z)
• Multi-dataset Pretraining: A Unified Model for Semantic Segmentation [97.61605021985062]
  我々は、異なるデータセットの断片化アノテーションを最大限に活用するために、マルチデータセット事前訓練と呼ばれる統合フレームワークを提案する。 これは、複数のデータセットに対して提案されたピクセルからプロトタイプへのコントラスト損失を通じてネットワークを事前トレーニングすることで実現される。 異なるデータセットからの画像とクラス間の関係をより良くモデル化するために、クロスデータセットの混合によりピクセルレベルの埋め込みを拡張する。
  論文  参考訳（メタデータ） (2021-06-08T06:13:11Z)
• Multimodal Contrastive Training for Visual Representation Learning [45.94662252627284]
  マルチモーダルデータを取り入れた視覚表現の学習手法を開発した。 本手法は,各モダリティおよびセマンティクス情報内の本質的なデータ特性をクロスモーダル相関から同時に利用する。 統合フレームワークにマルチモーダルトレーニングを組み込むことで,より強力で汎用的な視覚的特徴を学習することができる。
  論文  参考訳（メタデータ） (2021-04-26T19:23:36Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Learning Test-time Augmentation for Content-based Image Retrieval [42.188013259368766]
  オフザシェルフ畳み込みニューラルネットワークは、多くの画像検索タスクにおいて優れた結果をもたらす。 既存の画像検索手法では、ターゲットデータ特有のバリエーションに適応するために、事前訓練されたネットワークを微調整または修正する必要がある。 本手法は, テスト時に強調した画像から抽出した特徴を, 強化学習を通じて学習したポリシーに則って集約することにより, 既製の特徴の分散を促進させる。
  論文  参考訳（メタデータ） (2020-02-05T05:08:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。