論文の概要: CoCoA-Mix: Confusion-and-Confidence-Aware Mixture Model for Context Optimization

• arxiv url: http://arxiv.org/abs/2506.07484v1
• Date: Mon, 09 Jun 2025 07:04:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.837748
• Title: CoCoA-Mix: Confusion-and-Confidence-Aware Mixture Model for Context Optimization
• Title（参考訳）: CoCoA-Mix:コンテキスト最適化のためのコンフュージョン・アンド・信頼・認識混合モデル
• Authors: Dasol Hong, Wooju Lee, Hyun Myung,
• Abstract要約: 本稿では,混乱したクラス間の決定境界を精査することにより,特殊化を改善する混乱認識損失(CoA-loss)を提案する。 数学的には、混合モデルが特殊化を損なうことなく一般化を促進できることを実証する。 CoA-lossとCoA-weightsの混合モデルであるCoCoA-Mixは、特殊化と一般化を強化して最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 9.888839721140231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt tuning, which adapts vision-language models by freezing model parameters and optimizing only the prompt, has proven effective for task-specific adaptations. The core challenge in prompt tuning is improving specialization for a specific task and generalization for unseen domains. However, frozen encoders often produce misaligned features, leading to confusion between classes and limiting specialization. To overcome this issue, we propose a confusion-aware loss (CoA-loss) that improves specialization by refining the decision boundaries between confusing classes. Additionally, we mathematically demonstrate that a mixture model can enhance generalization without compromising specialization. This is achieved using confidence-aware weights (CoA-weights), which adjust the weights of each prediction in the mixture model based on its confidence within the class domains. Extensive experiments show that CoCoA-Mix, a mixture model with CoA-loss and CoA-weights, outperforms state-of-the-art methods by enhancing specialization and generalization. Our code is publicly available at https://github.com/url-kaist/CoCoA-Mix.
• Abstract（参考訳）: モデルパラメータを凍結し,プロンプトのみを最適化することにより,視覚モデルに適応するプロンプトチューニングは,タスク固有の適応に有効であることが証明された。 迅速なチューニングにおける中核的な課題は、特定のタスクの特殊化の改善と、目に見えないドメインの一般化である。 しかし、凍結エンコーダは、しばしば不一致の機能を生成し、クラス間の混乱と特殊化の制限を引き起こす。 この問題を克服するために,混乱クラス間の決定境界を精査することにより,特殊化を改善する混乱認識損失(CoA-loss)を提案する。 さらに, 混合モデルにより, 特殊化を伴わずに一般化を促進できることを数学的に示す。 これは、クラス領域内の信頼度に基づいて混合モデルにおける各予測の重みを調整する信頼度対応重み(CoA重み)を用いて達成される。 CoA-lossとCoA-weightsの混合モデルであるCoCoA-Mixは、特殊化と一般化の強化により最先端の手法より優れていることを示す。 私たちのコードはhttps://github.com/url-kaist/CoCoA-Mix.comで公開されています。

関連論文リスト

• CoCoAFusE: Beyond Mixtures of Experts via Model Fusion [3.501882879116058]
  CoCoAFusEはMixtures of Experts(MoEs)の背景にある哲学に基づいている 我々の定式化は、専門家の分布の融合を考えることによって、古典的な専門家の混合を延長する。 この新しいアプローチは、数値的な例を動機付ける一連のスイートと、実際のデータのコレクションで広く紹介されている。
  論文  参考訳（メタデータ） (2025-05-02T08:35:04Z)
• CNC: Cross-modal Normality Constraint for Unsupervised Multi-class Anomaly Detection [34.675120608542265]
  本稿では,クラスに依存しない学習可能なプロンプトを利用して,デコードされた特徴を正規のテキスト表現へ導く手法を提案する。 本手法は,MVTec AD と VisA のデータセット上での競合性能を実現し,その性能を実証する。
  論文  参考訳（メタデータ） (2024-12-31T08:43:44Z)
• Gradient-free variational learning with conditional mixture networks [39.827869318925494]
  条件付き混合ネットワーク(CMN)の高速・勾配なし変分法であるCAVI-CMNを導入する。 CAVI-CMNは、バックプロパゲーションを伴う最大推定値(MLE)と比較して、競争力があり、しばしば優れた予測精度を達成する。 入力サイズや専門家の数が増加するにつれて、計算時間はMLEと競合的にスケールする。
  論文  参考訳（メタデータ） (2024-08-29T10:43:55Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率のよいアンサンブル手法であるLoRA-Ensembleを紹介する。 この方法は、BatchEnsembleのような最先端の暗黙のテクニックを上回るだけでなく、Explicit Ensembleの正確さにマッチするか超える。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
  Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。 大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。 視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
  論文  参考訳（メタデータ） (2024-02-19T21:20:22Z)
• AE-RED: A Hyperspectral Unmixing Framework Powered by Deep Autoencoder and Regularization by Denoising [14.908906329456842]
  本稿では、自動エンコーダネットワークを正規化(RED)と統合するための一般的なアンミックスフレームワークであるAE-REDを提案する。 合成データと実データの両方を用いた実験結果から, 現状の未混合手法と比較して, 提案手法の優位性を示した。
  論文  参考訳（メタデータ） (2023-07-01T08:20:36Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。