論文の概要: When and How Does CLIP Enable Domain and Compositional Generalization?

• arxiv url: http://arxiv.org/abs/2502.09507v1
• Date: Thu, 13 Feb 2025 17:21:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:49:35.878084
• Title: When and How Does CLIP Enable Domain and Compositional Generalization?
• Title（参考訳）: CLIPはドメインと構成の一般化を可能にするのか?
• Authors: Elias Kempf, Simon Schrodi, Max Argus, Thomas Brox,
• Abstract要約: ドメインの多様性は、ドメインと構成の一般化の両方に不可欠であることを示す。 一般化に成功するためには、既に中間層や共有回路で共有表現を学習する必要がある。
• 参考スコア（独自算出の注目度）: 26.156636891713745
• License:
• Abstract: The remarkable generalization performance of contrastive vision-language models like CLIP is often attributed to the diversity of their training distributions. However, key questions remain unanswered: Can CLIP generalize to an entirely unseen domain when trained on a diverse mixture of domains (domain generalization)? Can it generalize to unseen classes within partially seen domains (compositional generalization)? What factors affect such generalization? To answer these questions, we trained CLIP models on systematically constructed training distributions with controlled domain diversity and object class exposure. Our experiments show that domain diversity is essential for both domain and compositional generalization, yet compositional generalization can be surprisingly weaker than domain generalization when the training distribution contains a suboptimal subset of the test domain. Through data-centric and mechanistic analyses, we find that successful generalization requires learning of shared representations already in intermediate layers and shared circuitry.
• Abstract（参考訳）: CLIPのような対照的な視覚言語モデルの顕著な一般化性能は、トレーニング分布の多様性に起因することが多い。 CLIPは、さまざまなドメイン(ドメインの一般化)でトレーニングされた時に、完全に見えないドメインに一般化できますか? 部分可視領域内(構成的一般化)で見えないクラスに一般化できるか? そのような一般化に影響を与える要因は何か? これらの質問に答えるために,ドメインの多様性とオブジェクトクラス露出を制御したトレーニング分布を体系的に構築したCLIPモデルを訓練した。 実験により、領域の多様性は、領域の一般化と構成の一般化の両方に不可欠であるが、訓練分布がテスト領域の最適部分集合を含む場合、構成の一般化は、領域の一般化よりも驚くほど弱くなることが示された。 データ中心およびメカニスティック解析により、既に中間層や共有回路で共有表現を学習する必要があることが判明した。

関連論文リスト

• A separability-based approach to quantifying generalization: which layer is best? [0.0]
  未確認データへの一般化は、ディープラーニングの分類と基礎モデルではよく理解されていない。 サンプル領域を表すネットワークのキャパシティを評価するための新しい手法を提案する。 i) 高い分類精度は高い一般化可能性を示すものではなく、(ii) モデルの深い層が必ずしも最良を一般化するとは限らない。
  論文  参考訳（メタデータ） (2024-05-02T17:54:35Z)
• Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
  本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。 我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T17:05:14Z)
• Improving Diversity with Adversarially Learned Transformations for Domain Generalization [81.26960899663601]
  本稿では、ニューラルネットワークを用いた逆学習変換(ALT)を用いて、可塑性かつハードな画像変換をモデル化する新しいフレームワークを提案する。 我々は、ALTが既存の多様性モジュールと自然に連携して、ソースドメインの大規模変換によって最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2022-06-15T18:05:24Z)
• Localized Adversarial Domain Generalization [83.4195658745378]
  対数領域の一般化は、領域の一般化に対する一般的なアプローチである。 空間コンパクト性維持(LADG)を用いた局所対向領域の一般化を提案する。 我々はWilds DGベンチマークで包括的な実験を行い、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2022-05-09T08:30:31Z)
• Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
  マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。 組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。 4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-24T11:54:59Z)
• Self-balanced Learning For Domain Generalization [64.99791119112503]
  ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。 既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。 本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T03:17:54Z)
• Generalizing to Unseen Domains: A Survey on Domain Generalization [59.16754307820612]
  ドメイン一般化は、1つまたは複数の異なるが関連するドメインが与えられる困難な設定を扱う。 目標は、目に見えないテストドメインに一般化できるモデルを学ぶことです。 本稿では,領域一般化の最近の進歩に対する最初のレビューを紹介する。
  論文  参考訳（メタデータ） (2021-03-02T06:04:11Z)
• An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization [53.592597682854944]
  リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。 両課題に対してERMは極小最適であることを示す。
  論文  参考訳（メタデータ） (2021-02-25T19:06:48Z)
• Learning to Balance Specificity and Invariance for In and Out of Domain Generalization [27.338573739304604]
  ドメイン内および外部の一般化性能を改善するモデルである一般化のためのドメイン固有マスクを紹介する。 ドメインの一般化のために、ゴールはソースドメインの集合から学び、見えないターゲットドメインに最もよく一般化する単一のモデルを作成することである。 本研究では,PACSとDomainNetの両面において,単純なベースラインと最先端の手法と比較して,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2020-08-28T20:39:51Z)
• Efficient Domain Generalization via Common-Specific Low-Rank Decomposition [40.98883072715791]
  ドメイン一般化とは、トレーニング中に見えない新しいドメインに一般化するモデルを訓練するタスクである。 我々は、共通コンポーネント(新しいドメインに一般化する)とドメイン固有コンポーネント(トレーニングドメインに過度に適合する)を共同で学習するCSD(Common Specific Decomposition)を提案する。 このアルゴリズムは非常に単純で、任意のニューラルネットワークアーキテクチャの最終線形分類層を変更するだけでよい。
  論文  参考訳（メタデータ） (2020-03-28T15:17:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。