論文の概要: Learning Invariant Causal Mechanism from Vision-Language Models

• arxiv url: http://arxiv.org/abs/2405.15289v3
• Date: Mon, 10 Feb 2025 08:14:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:25:36.885759
• Title: Learning Invariant Causal Mechanism from Vision-Language Models
• Title（参考訳）: 視覚言語モデルからの不変因果メカニズムの学習
• Authors: Zeen Song, Siyu Zhao, Xingyu Zhang, Jiangmeng Li, Changwen Zheng, Wenwen Qiang,
• Abstract要約: 学習環境における不変要因と変動要因の因果関係は,試験環境と異なることを示す。 CLIP(CLIP-ICM)フレームワークの不変因果機構を提案する。 提案手法は,CLIPの信頼性を高めるため,シンプルだが強力な拡張を提供する。
• 参考スコア（独自算出の注目度）: 14.0158707862717
• License:
• Abstract: Contrastive Language-Image Pretraining (CLIP) has achieved remarkable success, but its performance can degrade when fine-tuned in out-of-distribution (OOD) scenarios. We model the prediction process using a Structural Causal Model (SCM) and show that the causal mechanism involving both invariant and variant factors in training environments differs from that in test environments. In contrast, the causal mechanism with solely invariant factors remains consistent across environments. We theoretically prove the existence of a linear mapping from CLIP embeddings to invariant factors, which can be estimated using interventional data. Additionally, we provide a condition to guarantee low OOD risk of the invariant predictor. Based on these insights, we propose the Invariant Causal Mechanism of CLIP (CLIP-ICM) framework. CLIP-ICM involves collecting interventional data, estimating a linear projection matrix, and making predictions within the invariant subspace. Experiments on several OOD datasets show that CLIP-ICM significantly improves the performance of CLIP. Our method offers a simple but powerful enhancement, boosting the reliability of CLIP in real-world applications.
• Abstract（参考訳）: Contrastive Language-Image Pretraining (CLIP) は目覚ましい成功を収めているが、その性能はアウト・オブ・ディストリビューション(OOD)のシナリオで微調整すると劣化する。 構造因果モデル (Structure Causal Model, SCM) を用いて予測過程をモデル化し, 学習環境における不変因子と変因子の両方を含む因果メカニズムが試験環境と異なることを示す。 対照的に、単に不変な要因を持つ因果メカニズムは環境全体にわたって一貫している。 本稿では,CLIP埋め込みから不変因子への線形写像の存在を理論的に証明する。 さらに、不変予測器の低いOODリスクを保証する条件を提供する。 これらの知見に基づいて,CLIP(CLIP-ICM)フレームワークの不変因果メカニズムを提案する。 CLIP-ICMは介入データを収集し、線形射影行列を推定し、不変部分空間内で予測を行う。 いくつかのOODデータセットの実験によると、CLIP-ICMはCLIPのパフォーマンスを大幅に改善する。 提案手法は,CLIPの信頼性を高めるため,シンプルだが強力な拡張を提供する。

関連論文リスト

• Self-Healing Machine Learning: A Framework for Autonomous Adaptation in Real-World Environments [50.310636905746975]
  実世界の機械学習システムは、基礎となるデータ生成プロセスの分散シフトによって、モデルの性能劣化に遭遇することが多い。 概念のドリフト適応のような既存のシフトへのアプローチは、その理性に依存しない性質によって制限される。 我々はこれらの制限を克服するために自己修復機械学習(SHML)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:05:51Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Contrastive Learning Via Equivariant Representation [19.112460889771423]
  CLeVERは,任意の複雑性の増大戦略に適合する,新しい異種コントラスト学習フレームワークである。 実験結果から,CLeVERは実用自然画像から同変情報を効果的に抽出し,組み込んだ。
  論文  参考訳（メタデータ） (2024-06-01T01:53:51Z)
• Conformal Predictive Systems Under Covariate Shift [2.9310590399782788]
  Conformal Predictive Systems (CPS) は予測分布を構築するための汎用的なフレームワークを提供する。 重み付きCPS(重み付きコンフォーマル予測)を提案する。 本稿ではWCPSの有効性と有効性に関する理論的根拠と予想について述べる。
  論文  参考訳（メタデータ） (2024-04-23T13:23:27Z)
• Bayesian Exploration of Pre-trained Models for Low-shot Image Classification [14.211305168954594]
  本研究はガウス過程に基づくシンプルで効果的な確率的モデルアンサンブルフレームワークを提案する。 平均関数をCLIPとカーネル関数で指定することで,事前知識の統合を実現する。 提案手法は,予測性能に関する競争アンサンブルベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-03-30T10:25:28Z)
• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Learning Counterfactually Invariant Predictors [11.682403472580162]
  我々はCIP(Counterfactual Invariant Prediction)と呼ばれるモデルに依存しないフレームワークを提案する。 実験の結果,CIPが様々なシミュレーションおよび実世界のデータセットに反実的不変性を付与する効果が示された。
  論文  参考訳（メタデータ） (2022-07-20T09:23:35Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Learning Causal Semantic Representation for Out-of-Distribution Prediction [125.38836464226092]
  因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。 CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
  論文  参考訳（メタデータ） (2020-11-03T13:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。