Fugu-MT 論文翻訳(概要): Causality-aligned Prompt Learning via Diffusion-based Counterfactual Generation

論文の概要: Causality-aligned Prompt Learning via Diffusion-based Counterfactual Generation

arxiv url: http://arxiv.org/abs/2507.19882v1
Date: Sat, 26 Jul 2025 09:27:52 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-29 16:23:56.370331
Title: Causality-aligned Prompt Learning via Diffusion-based Counterfactual Generation
Title（参考訳）: 拡散に基づく対実生成による因果整合型プロンプト学習
Authors: Xinshu Li, Ruoyu Wang, Erdun Gao, Mingming Gong, Lina Yao,
Abstract要約: 理論的には、$textbfDi$ffusion-based $textbfC$ounterf$textbfa$ctual $textbfp$rompt学習フレームワークを導入します。本手法は,画像分類,画像テキスト検索,視覚的質問応答などのタスクにおいて,特に目に見えないカテゴリにおいて優れた優位性を示す。
参考スコア（独自算出の注目度）: 45.395353088233556
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Prompt learning has garnered attention for its efficiency over traditional model training and fine-tuning. However, existing methods, constrained by inadequate theoretical foundations, encounter difficulties in achieving causally invariant prompts, ultimately falling short of capturing robust features that generalize effectively across categories. To address these challenges, we introduce the $\textit{\textbf{DiCap}}$ model, a theoretically grounded $\textbf{Di}$ffusion-based $\textbf{C}$ounterf$\textbf{a}$ctual $\textbf{p}$rompt learning framework, which leverages a diffusion process to iteratively sample gradients from the marginal and conditional distributions of the causal model, guiding the generation of counterfactuals that satisfy the minimal sufficiency criterion. Grounded in rigorous theoretical derivations, this approach guarantees the identifiability of counterfactual outcomes while imposing strict bounds on estimation errors. We further employ a contrastive learning framework that leverages the generated counterfactuals, thereby enabling the refined extraction of prompts that are precisely aligned with the causal features of the data. Extensive experimental results demonstrate that our method performs excellently across tasks such as image classification, image-text retrieval, and visual question answering, with particularly strong advantages in unseen categories.
Abstract（参考訳）: プロンプト学習は、従来のモデルトレーニングや微調整よりも効率性に注意を向けている。しかし、理論的な基礎が不十分な既存の手法は因果的不変なプロンプトを達成するのに困難に遭遇し、最終的にカテゴリーをまたいで効果的に一般化する堅牢な特徴を捉えられなかった。これらの課題に対処するために、$\textit{\textbf{Di}$ffusion-based $\textbf{C}$ounterf$\textbf{a}$ctual $\textbf{p}$rompt Learning frameworkを理論的に基礎づけた$\textbf{Di}$ffusion-based $\textbf{C}$ounterf$ounterf$\textbf{a}$ctual $\textbf{p}$rompt learning frameworkを導入する。厳密な理論的導出に基づいて、このアプローチは、推定誤差に厳密な境界を課しながら、対実的な結果の識別可能性を保証する。さらに、生成した反事実を利用して、データの因果的特徴に正確に整合したプロンプトの洗練された抽出を可能にする、対照的な学習フレームワークを採用する。画像分類,画像テキスト検索,視覚的質問応答などのタスクにおいて,本手法が優れた性能を発揮することを示す実験結果が得られた。

関連論文リスト

Semantic-guided Fine-tuning of Foundation Model for Long-tailed Visual Recognition [38.74388860692423]
長期視覚認識のための基礎モデルのセマンティック誘導微調整法(セージ)を提案する。クラス記述をセマンティックガイダンスとして統合したSG-Adapterを導入し,ビジュアルエンコーダの微調整を指導する。ベンチマークデータセットの実験は、長期学習におけるパフォーマンス向上における提案されたSageの有効性を示す。
論文参考訳（メタデータ） (2025-07-17T05:47:19Z)
Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
論文参考訳（メタデータ） (2025-04-10T07:50:03Z)
A Statistical Theory of Contrastive Learning via Approximate Sufficient Statistics [19.24473530318175]
我々はデータ拡張に基づくコントラスト学習を解析するための新しい理論フレームワークを開発した。我々は,SimCLRなどのコントラスト損失を最小化すれば,ほぼ十分エンコーダが得られることを示す。
論文参考訳（メタデータ） (2025-03-21T21:07:18Z)
The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
論文参考訳（メタデータ） (2025-03-04T18:56:03Z)
Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。因果関係はこれらの課題を体系的に解決するための理想的な枠組みを提供します
論文参考訳（メタデータ） (2025-02-07T17:01:37Z)
Alpha and Prejudice: Improving $α$-sized Worst-case Fairness via Intrinsic Reweighting [34.954141077528334]
既成人口集団との最悪のフェアネスは、最悪の集団のモデルユーティリティを最大化することで、同等性を達成する。近年の進歩は、最小分割比の低い境界を導入することで、この学習問題を再構築している。
論文参考訳（メタデータ） (2024-11-05T13:04:05Z)
Uncertainty Quantification via Hölder Divergence for Multi-View Representation Learning [18.076966572539547]
本稿では,H"older Divergence (HD)に基づく新しいアルゴリズムを導入し,多視点学習の信頼性を高める。デンプスター・シェーファー理論を通じて、異なるモダリティからの不確実性の統合により、包括的な結果が生成される。数学的には、HDは実際のデータ分布とモデルの予測分布の間の距離'をよりよく測定できることを証明している。
論文参考訳（メタデータ） (2024-10-29T04:29:44Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文参考訳（メタデータ） (2023-06-09T08:30:51Z)
Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文参考訳（メタデータ） (2021-09-22T10:47:51Z)
Adversarial Robustness of Supervised Sparse Coding [34.94566482399662]
表現を学習すると同時に、正確な一般化境界と堅牢性証明を与えるモデルを考える。線形エンコーダと組み合わされたスパーシティプロモーティングエンコーダを組み合わせた仮説クラスに着目した。エンドツーエンドの分類のための堅牢性証明を提供する。
論文参考訳（メタデータ） (2020-10-22T22:05:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。