論文の概要: Learning Invariant Causal Mechanism from Vision-Language Models

• arxiv url: http://arxiv.org/abs/2405.15289v1
• Date: Fri, 24 May 2024 07:22:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-27 15:40:48.390420
• Title: Learning Invariant Causal Mechanism from Vision-Language Models
• Title（参考訳）: 視覚言語モデルからの不変因果メカニズムの学習
• Authors: Zeen Song, Siyu Zhao, Xingyu Zhang, Jiangmeng Li, Changwen Zheng, Wenwen Qiang,
• Abstract要約: 人間は、複雑な世界における環境の変化にもかかわらず不変である再利用可能な知識を学習することで、様々な領域にわたる意思決定に長けている。 本稿では,CLIP (CLIP-ICM) の不変因果メカニズムを提案する。
• 参考スコア（独自算出の注目度）: 14.0158707862717
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pre-trained large-scale models have become a major research focus, but their effectiveness is limited in real-world applications due to diverse data distributions. In contrast, humans excel at decision-making across various domains by learning reusable knowledge that remains invariant despite environmental changes in a complex world. Although CLIP, as a successful vision-language pre-trained model, demonstrates remarkable performance in various visual downstream tasks, our experiments reveal unsatisfactory results in specific domains. Our further analysis with causal inference exposes the current CLIP model's inability to capture the invariant causal mechanisms across domains, attributed to its deficiency in identifying latent factors generating the data. To address this, we propose the Invariant Causal Mechanism of CLIP (CLIP-ICM), an algorithm designed to provably identify invariant latent factors with the aid of interventional data, and perform accurate prediction on various domains. Theoretical analysis demonstrates that our method has a lower generalization bound in out-of-distribution (OOD) scenarios. Experimental results showcase the outstanding performance of CLIP-ICM.
• Abstract（参考訳）: 事前学習された大規模モデルは主要な研究対象となっているが、その有効性は多様なデータ分散のために現実の応用に限られている。 対照的に、人間は複雑な世界における環境の変化にもかかわらず不変である再利用可能な知識を学習することで、様々な領域における意思決定に長けている。 CLIPは視覚言語事前学習モデルとして、様々な視覚的下流タスクにおいて顕著な性能を示すが、本実験は特定の領域において不満足な結果を示す。 因果推論を用いたさらなる分析は、データを生成する潜在因子の同定に欠如していることから、ドメイン間の不変因果機構を捉えることができない現在のCLIPモデルを明らかにする。 そこで本研究では,CLIP-ICM(Invariant Causal Mechanism of CLIP, CLIP-ICM)を提案する。 理論的解析により,本手法はオフ・オブ・ディストリビューション(OOD)のシナリオにおいて,より低い一般化を有することが示された。 CLIP-ICMの優れた性能を示す実験結果を得た。

関連論文リスト

• From predictions to confidence intervals: an empirical study of conformal prediction methods for in-context learning [4.758643223243787]
  本稿では,共形予測に基づく予測区間の構築手法を提案する。 従来のコンフォメーション法はモデルフィッティングの繰り返しによる計算コストが高いが,ICLを利用して1回のフォワードパスで信頼区間を効率よく生成する。 我々の実証分析は、リッジ回帰に基づくコンフォメーション手法に対するこのアプローチと比較し、インコンテキスト学習(CP with ICL)によるコンフォメーション予測が、堅牢でスケーラブルな不確実性推定を実現することを示す。
  論文  参考訳（メタデータ） (2025-04-22T09:11:48Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Self-Healing Machine Learning: A Framework for Autonomous Adaptation in Real-World Environments [50.310636905746975]
  実世界の機械学習システムは、基礎となるデータ生成プロセスの分散シフトによって、モデルの性能劣化に遭遇することが多い。 概念のドリフト適応のような既存のシフトへのアプローチは、その理性に依存しない性質によって制限される。 我々はこれらの制限を克服するために自己修復機械学習(SHML)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:05:51Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Contrastive Learning Via Equivariant Representation [19.112460889771423]
  CLeVERは,任意の複雑性の増大戦略に適合する,新しい異種コントラスト学習フレームワークである。 実験結果から,CLeVERは実用自然画像から同変情報を効果的に抽出し,組み込んだ。
  論文  参考訳（メタデータ） (2024-06-01T01:53:51Z)
• Bayesian Exploration of Pre-trained Models for Low-shot Image Classification [14.211305168954594]
  本研究はガウス過程に基づくシンプルで効果的な確率的モデルアンサンブルフレームワークを提案する。 平均関数をCLIPとカーネル関数で指定することで,事前知識の統合を実現する。 提案手法は,予測性能に関する競争アンサンブルベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-03-30T10:25:28Z)
• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)
• Variance of ML-based software fault predictors: are we really improving fault prediction? [0.3222802562733786]
  我々は、最先端の故障予測手法のばらつきを実験的に分析する。 我々は,クラス毎の精度測定値において最大10.10%のばらつきを観測した。
  論文  参考訳（メタデータ） (2023-10-26T09:31:32Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Learning Counterfactually Invariant Predictors [11.682403472580162]
  我々はCIP(Counterfactual Invariant Prediction)と呼ばれるモデルに依存しないフレームワークを提案する。 実験の結果,CIPが様々なシミュレーションおよび実世界のデータセットに反実的不変性を付与する効果が示された。
  論文  参考訳（メタデータ） (2022-07-20T09:23:35Z)
• Out-of-distribution Generalization with Causal Invariant Transformations [17.18953986654873]
  本研究では,因果的特徴を明示的に回復することなく,OOD問題に対処する。 不変因果機構の設定の下で、理論的には、そのような変換がすべて利用可能であれば、最小限の最適モデルを学ぶことができる。 これらの因果不変変換の完全な集合が非現実的であることを知ることは、これらの変換のサブセットのみを知るのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-03-22T08:04:38Z)
• Variance Minimization in the Wasserstein Space for Invariant Causal Prediction [72.13445677280792]
  そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。 これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。 我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2021-10-13T22:30:47Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Nonlinear Invariant Risk Minimization: A Causal Approach [5.63479133344366]
  非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。 我々は、非常に単純な変換までデータ表現の識別性を示す。 合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-02-24T15:38:41Z)
• Learning Causal Semantic Representation for Out-of-Distribution Prediction [125.38836464226092]
  因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。 CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
  論文  参考訳（メタデータ） (2020-11-03T13:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。