論文の概要: KODA: Contrastive Representation Comparison and Alignment for Vision-Language Foundation Models

• arxiv url: http://arxiv.org/abs/2606.04180v1
• Date: Tue, 02 Jun 2026 19:47:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.35944
• Title: KODA: Contrastive Representation Comparison and Alignment for Vision-Language Foundation Models
• Title（参考訳）: 小田:視覚言語基礎モデルのコントラスト表現比較とアライメント
• Authors: Youqi Wu, Mohammad Jalali, Farzan Farnia,
• Abstract要約: コントラスト表現比較とアライメントのためのカーネルベースのフレームワーク。 ランダムプロジェクションを用いた関節核のランダム化低次元近似を開発した。 経験的に、KODAは視覚言語表現間の一貫性と解釈可能な相違構造を識別する。
• 参考スコア（独自算出の注目度）: 18.957478338649114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language foundation models such as CLIP and SigLIP provide widely used representations for multimodal learning systems. While these models are typically compared through downstream performance, such evaluations often do not explain how their representations differ structurally. In this work, we study this problem through the task of Contrastive Embedding Clustering: identifying sample subsets that are weakly clustered under one representation but strongly clustered under another. We propose \emph{Kernel Optimization for Discrepancy Analysis (KODA)}, a kernel-based framework for contrastive representation comparison and alignment. KODA constructs unified multimodal kernels through modality-wise kernel composition and formulates discrepancy discovery as a constrained optimization problem that searches for coherent structures in one representation while suppressing coherence in a reference representation. This yields interpretable discrepancy directions associated with specific sample subsets and modality interactions. To scale KODA to large vision-language datasets, we develop randomized low-dimensional approximations of joint kernels using random projections, including Random Fourier Features for shift-invariant kernels. Empirically, KODA identifies consistent and interpretable discrepancy structures across vision-language representations and provides sample subsets for representation alignment. The code is available at https://github.com/yokiwuuu/KODA.
• Abstract（参考訳）: CLIPやSigLIPのような視覚言語基盤モデルは、マルチモーダル学習システムに広く使われている表現を提供する。 これらのモデルは通常、下流のパフォーマンスを通して比較されるが、そのような評価は、それらの表現がどのように構造的に異なるかを説明しないことが多い。 本研究では,この問題をコントラスト・エンベディング・クラスタリング(Contrastive Embedding Clustering)というタスクを通じて検討する。 コントラッシブな表現比較とアライメントのためのカーネルベースのフレームワークであるKODA(enmph{Kernel Optimization for Discrepancy Analysis)を提案する。 コヒーレント構造を1つの表現で探索し、参照表現におけるコヒーレンスを抑えながら、コヒーレント構造を探索する制約付き最適化問題として、モダリティワイドカーネル合成を用いて統一マルチモーダルカーネルを構築し、離散性発見を定式化する。 これにより、特定のサンプル部分集合とモダリティ相互作用に関連付けられた解釈可能な相違方向が得られる。 大規模な視覚言語データセットにスケールするために、シフト不変カーネルのランダムフーリエ特徴を含むランダムプロジェクションを用いて、共同カーネルのランダム化低次元近似を開発する。 経験的に、KODAは視覚言語表現間の一貫性と解釈可能な相違構造を特定し、表現アライメントのためのサンプルサブセットを提供する。 コードはhttps://github.com/yokiwuu/KODAで公開されている。

関連論文リスト

• Enhancing Clustering: An Explainable Approach via Filtered Patterns [4.576379639081977]
  説明可能なクラスタリングは、データを$$disjointクラスタに分割する、知識駆動型の教師なし学習パラダイムである。 同一頻出パターン(k緩和パターン)の導入によるクラスタリング品質の向上に関する最近の研究 複数の異なる k-被覆が同一の k-被覆を誘導し、冗長な記号表現をもたらす。 そこで本研究では,個々のk被覆に対して1つの代表パターンを保持することで,冗長パターンを除去する最適化手法を提案する。
  論文  参考訳（メタデータ） (2026-04-14T08:45:38Z)
• Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data [63.62853416081748]
  WISEは表現、特徴重み付け、クラスタリング、解釈を統一するフレームワークである。 クラスタリングを駆動する同じプリミティブに根ざした、忠実で人間解釈可能な説明を生成する。
  論文  参考訳（メタデータ） (2026-04-07T13:18:31Z)
• Towards an Explainable Comparison and Alignment of Feature Embeddings [8.056359341994941]
  本研究では,組込みの比較を行うSPECフレームワークを提案し,参照データセットのクラスタリングにおける差を識別する。 本稿では、このカーネルベースのアプローチをスケーラブルに実装し、サンプルサイズとともに線形に成長する計算複雑性について述べる。 画像ネットやMS-COCOのような大規模データセット上での埋め込みの比較と整列を行うSPECの適用例を示す数値的な結果を提供する。
  論文  参考訳（メタデータ） (2025-06-06T16:50:37Z)
• Self Supervised Correlation-based Permutations for Multi-View Clustering [7.093692674858257]
  汎用データ型のためのエンドツーエンドのディープラーニングに基づくマルチビュークラスタリングフレームワークを提案する。 提案手法は,新しい置換に基づく正準相関目標を用いた有意義な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-02-26T08:08:30Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Adaptively-weighted Integral Space for Fast Multiview Clustering [54.177846260063966]
  線形複雑度に近い高速マルチビュークラスタリングのための適応重み付き積分空間(AIMC)を提案する。 特に、ビュー生成モデルは、潜在積分空間からのビュー観測を再構成するために設計されている。 いくつかの実世界のデータセットで実施された実験は、提案したAIMC法の優位性を確認した。
  論文  参考訳（メタデータ） (2022-08-25T05:47:39Z)
• Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
  本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。 実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-30T05:48:48Z)
• Agglomerative Neural Networks for Multi-view Clustering [109.55325971050154]
  本稿では,最適コンセンサスを近似する凝集分析法を提案する。 本稿では,制約付きラプラシアンランクに基づくANN(Agglomerative Neural Network)を用いて,マルチビューデータをクラスタリングする。 4つの一般的なデータセットに対する最先端のマルチビュークラスタリング手法に対する我々の評価は、ANNの有望なビュー・コンセンサス分析能力を示している。
  論文  参考訳（メタデータ） (2020-05-12T05:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。