論文の概要: Learning Deep Modality-Shared Self-Expressiveness for Image Clustering with Textual Information

• arxiv url: http://arxiv.org/abs/2608.08418v1
• Date: Sun, 09 Aug 2026 02:23:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.818091
• Title: Learning Deep Modality-Shared Self-Expressiveness for Image Clustering with Textual Information
• Title（参考訳）: テキスト情報を用いた画像クラスタリングのためのDeep Modality-Shared Self-Expressivenessの学習
• Abstract要約: 我々は、DeepMORSE(DeepMORSE)と呼ばれる原理的アプローチを提案する。 DeepMORSEは、モダリティ共有自己表現モデルを通じて、クロスモーダル構造を発見し、同時にモダリティ固有の部分空間の結合に対応する構造化表現を学習する。 広く使用されている6つの画像クラスタリングベンチマークでDeepMORSEを評価し、3%を超えるパフォーマンス改善を観察した。
• 参考スコア（独自算出の注目度）: 10.086588302174263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Leveraging textual information for image clustering has emerged as a promising direction, largely owing to the powerful representations learned by Vision-Language Models (VLMs). Existing approaches typically retrieve a textual counterpart for each image and then refine multimodal representations by directly enforcing cross-modal agreement, e.g., maximizing image-text similarity inherited from pretrained VLMs. However, such a strategy aligns heterogeneous representations across modalities without explicitly modeling the intrinsic structure within each modality and thus might yield unreliable alignment or distort modality-specific structures that are crucial for clustering. In this paper, we propose a simple but principled approach, termed deep modality-shared self-expressive model (DeepMORSE), which discovers cross-modal structures via a modality-shared self-expressive model and simultaneously learns structured representations that conform to a union of modality-specific subspaces. Moreover, we theoretically justify that the modality-shared self-expressive coefficients suppress inter-class noise towards a subspace-preserving solution, and show that mini-batch optimization procedure introduces an implicit regularization onto the self-expressive model. We evaluate our DeepMORSE on six widely used image clustering benchmarks and observe performance improvements exceeding 3% on the UCF-101, DTD-47, and ImageNet-Dogs datasets. In addition, we demonstrate the strong transferability of the learned representations by achieving state-of-the-art performance on downstream tasks such as image retrieval and zero-shot classification---without requiring any task-specific losses or post-processing. The code is available at: https://github.com/mengxianghan123/DeepMORSE.
• Abstract（参考訳）: 画像クラスタリングのためのテキスト情報を活用することは、視覚言語モデル(VLM)によって学習された強力な表現のため、有望な方向として現れてきた。 既存のアプローチでは、通常、各画像のテキスト対応を検索し、事前訓練されたVLMから受け継いだ画像とテキストの類似性を最大化するクロスモーダル合意を直接強制することで、マルチモーダル表現を洗練する。 しかし、このような戦略は、各モジュラリティの内在的構造を明示的にモデル化することなく、モジュラリティにまたがる異種表現を整列させるため、クラスタリングに不可欠な信頼できないアライメントや歪んだモダリティ固有の構造が得られる。 本稿では,モーダリティ共有自己表現モデル(DeepMORSE)と呼ばれる,単純だが原理的なアプローチを提案する。 さらに,モーダリティ共有自己表現係数がサブスペース保存解に対するクラス間雑音を抑制することを理論的に正当化し,ミニバッチ最適化手法が自己表現モデルに暗黙の正規化をもたらすことを示す。 我々は,広く使用されている6つの画像クラスタリングベンチマーク上でDeepMORSEを評価し,UCF-101,DTD-47,ImageNet-Dogsデータセットで3%を超える性能改善を観察した。 さらに,画像検索やゼロショット分類などの下流タスクにおいて,タスク固有の損失や後処理を必要とせず,最先端のパフォーマンスを実現することにより,学習表現の強い伝達性を示す。 コードは以下の通り。 https://github.com/mengxianghan123/DeepMORSE。

関連論文リスト

• Semantic Generative Tuning for Unified Multimodal Models [62.18894352635965]
  統一マルチモーダルモデル(UMM)は、単一のアーキテクチャ内で視覚的理解と視覚的生成を統合する。 訓練パラダイムは 独立して テキスト信号を通して 理解を最適化する 密集したピクセルの目的を通して 生成する 本研究は,UMMの分離を橋渡しするための生成プロキシとして階層的視覚タスクを定式化する,生成後学習に関する最初の体系的な研究である。
  論文  参考訳（メタデータ） (2026-05-18T17:46:46Z)
• Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models [84.78794648147608]
  永続的な幾何学的異常であるモダリティギャップが残っている。 このギャップを埋める以前のアプローチは、過度に単純化された等方的仮定によってほとんど制限されている。 固定フレームモダリティギャップ理論(英語版)を提案し、モダリティギャップを安定バイアスと異方性残差に分解する。 次に、トレーニング不要なモダリティアライメント戦略であるReAlignを紹介します。
  論文  参考訳（メタデータ） (2026-02-02T13:59:39Z)
• CSMCIR: CoT-Enhanced Symmetric Alignment with Memory Bank for Composed Image Retrieval [54.15776146365823]
  Composed Image Retrieval (CIR)では、ユーザーは参照画像と操作テキストの両方を使用してターゲットイメージを検索できる。 CSMCIRは3つの相乗的コンポーネントを通して効率的なクエリターゲットアライメントを実現する統一表現フレームワークである。
  論文  参考訳（メタデータ） (2026-01-07T09:21:38Z)
• GloTok: Global Perspective Tokenizer for Image Reconstruction and Generation [51.95701097588426]
  トークン化された特徴のより均一な意味分布をモデル化するために,Global Perspective Tokenizer(GloTok)を導入する。 量子化による再構成誤差を最小限に抑えるために, 微細な細部を復元するために, 残差学習モジュールを提案する。 標準のImageNet-1kベンチマーク実験により,提案手法が最先端の復元性能と生成品質を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-18T06:40:26Z)
• Masked Image Modeling Boosting Semi-Supervised Semantic Segmentation [38.55611683982936]
  クラスごとに異なる画像領域を独立に再構成する新しいクラスワイド・マスク画像モデリングを提案する。 我々は,同一クラス内のマスキングと可視部分に対応する特徴間の距離を最小化する特徴集約戦略を開発する。 セマンティック空間において、正規化を強化するマスク付き画像モデリングの適用について検討する。
  論文  参考訳（メタデータ） (2024-11-13T16:42:07Z)
• DEMO: A Statistical Perspective for Efficient Image-Text Matching [32.256725860652914]
  本稿では,効率的な画像テキストマッチングのための分散型構造マイニングと一貫性学習(DEMO)を提案する。 DEMOは、複数の拡張ビューを使用して各画像を特徴付け、本質的な意味分布から引き出されたサンプルと見なされる。 さらに,ハミング空間の類似構造を保存するだけでなく,異なる方向からの検索分布の整合性も促進する協調的一貫性学習を導入する。
  論文  参考訳（メタデータ） (2024-05-19T09:38:56Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Semantic Image Synthesis via Diffusion Models [174.24523061460704]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に事実上のGANベースのアプローチに従っている。 意味画像合成のためのDDPMに基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Information Maximization Clustering via Multi-View Self-Labelling [9.947717243638289]
  本稿では,意味のある表現を同時に学習し,対応するアノテーションを割り当てる単一フェーズクラスタリング手法を提案する。 これは、離散表現をネットを通じて自己監督パラダイムに統合することで達成される。 実験の結果,提案手法は,平均精度89.1%,49.0%で最先端技術を上回ることがわかった。
  論文  参考訳（メタデータ） (2021-03-12T16:04:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。