論文の概要: CIM-Embed: Learning Instruction-Conditioned Multimodal Embeddings for Clustering

• arxiv url: http://arxiv.org/abs/2610.21805v1
• Date: Thu, 15 Oct 2026 12:54:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.08342
• Title: CIM-Embed: Learning Instruction-Conditioned Multimodal Embeddings for Clustering
• Title（参考訳）: CIM-Embed: クラスタリングのための命令記述型マルチモーダル埋め込みの学習
• Abstract要約: CIM-Embedは、クラスタリングのための命令条件付きマルチモーダル埋め込みを学習するためのフレームワークである。 我々はAmazon Reviews 2023で製品メタデータからProductMICを構築した。 フル次元埋め込みとHDBSCANにより、直接タスク内SupConトレーニングは、WeMM 9Bの53.06と比較して、平均95.01のタスク毎のV測定を達成する。
• 参考スコア（独自算出の注目度）: 4.915937723524026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal objects can require different partitions under different instructions, as when products in an e-commerce catalog are grouped by color, material, or both. Retrieval-oriented embeddings may not recover these partitions, while generative clustering often relies on intermediate descriptions or iterative decisions. This paper presents CIM-Embed, a framework for learning instruction-conditioned multimodal embeddings for clustering. Supervised contrastive learning uses same-group positives and negatives from other groups, optionally including other tasks; heterogeneous structured batches accommodate tasks with different group counts. At inference, the model maps each object's image, text, and instruction directly to an embedding; HDBSCAN then forms a partition without the ground-truth cluster count. We construct ProductMIC from product metadata in Amazon Reviews 2023, comprising training data and an evaluation benchmark for instruction-conditioned clustering. The benchmark contains 5,373 products and 449 single-attribute and compositional grouping tasks spanning 50 leaf categories excluded from our training. With full-dimensional embeddings and HDBSCAN, direct within-task SupCon training achieves a mean per-task V-measure of 95.01, compared with 53.06 for WeMM 9B, the strongest general-purpose embedding baseline evaluated. Frozen product-trained encoders also improve out-of-domain conditional grouping, while controlled transfer experiments distinguish partition transfer from instruction response. We will release the code and dataset upon acceptance.
• Abstract（参考訳）: マルチモーダルオブジェクトは、eコマースカタログの製品が色、材料、または両方でグループ化されている場合のように、異なる指示の下で異なるパーティションを必要とする可能性がある。 検索指向の埋め込みはこれらの分割を回復しない場合があるが、生成的クラスタリングはしばしば中間的な記述や反復的な決定に依存している。 本稿では,クラスタリングのための命令条件付きマルチモーダル埋め込み学習フレームワークであるCIM-Embedを提案する。 教師付きコントラスト学習は、他のグループから同じグループの正と負の値を使い、任意に他のタスクを含む。 推論では、モデルは各オブジェクトの画像、テキスト、命令を直接埋め込みにマッピングする。 本研究では,Amazon Reviews 2023における製品メタデータからProductMICを構築する。 このベンチマークには5,373の製品と449の単一属性および構成的グループ化タスクが含まれており、トレーニングから除外された50の葉のカテゴリにまたがる。 全次元埋め込みとHDBSCANを用いて、直接タスク内SupConトレーニングは、WeMM 9Bの53.06と比較して、平均95.01のタスク毎のV測定を達成する。 冷凍製品訓練エンコーダは、領域外条件付きグルーピングを改善し、制御された転送実験は命令応答とパーティション転送を区別する。 受け入れ次第、コードとデータセットをリリースします。

関連論文リスト

• DataComp-VLM: Improved Open Datasets for Vision-Language Models [161.68203673664217]
  VLMトレーニングを改善するためのデータ中心実験のためのベンチマークであるDCVLM(DataComp for Vision-Language Models)を紹介する。 4つのデータ型にまたがる160のデータセットを6Tマルチモーダルトークンのコーパスに収集します。 DCVLMは、参加者が1B-8Bモデルと6.25B-200Bトークンの予算でキュレーション戦略をテストすることを可能にする。
  論文  参考訳（メタデータ） (2026-06-26T19:11:29Z)
• From Recognition to Reasoning: Benchmarking and Enhancing MLLMs on Real-World Receipt Document Understanding [15.376371030121094]
  ReceiptBenchは10万の多様なレシートからなる、大規模で人間による注釈付きベンチマークである。 ReceiptBenchは10万の多様なレシートからなる大規模で人手による注釈付きベンチマークである。
  論文  参考訳（メタデータ） (2026-05-21T12:37:03Z)
• EmbGen: Teaching with Reassembled Corpora [0.300988853836121]
  コーパスをエンティティ記述ペアに分解する合成データ生成パイプラインであるEmbGenを紹介する。 EmbGen を EntiGraph,InstructLab,Knowledge-Instruct に対して,多種多様な意味的不均一性のデータセット上で評価する。
  論文  参考訳（メタデータ） (2026-05-19T05:40:12Z)
• Cluster-R1: Large Reasoning Models Are Instruction-following Clustering Agents [81.79110139097297]
  汎用埋め込みモデルは意味的類似性を認識するのに優れているが、ユーザ命令で指定されたテキストの特徴を捉えることができない。 我々は、命令追従クラスタリングを生成タスクとして再編成し、大規模推論モデルを自律的なクラスタリングエージェントとして訓練する。 我々の推論駆動学習パイプラインは、LEMがハイレベルクラスタリング命令を解釈し、対応する潜在グループを推測することを可能にする。
  論文  参考訳（メタデータ） (2026-03-06T10:15:54Z)
• ESMC: MLLM-Based Embedding Selection for Explainable Multiple Clustering [79.69917150582633]
  MLLM(Multi-modal large language model)は、ユーザ主導のクラスタリングを実現するために利用することができる。 本手法はまず,MLLMのテキストトークンの隠蔽状態が対応する特徴と強く関連していることを明らかにする。 また、擬似ラベル学習を付加した軽量クラスタリングヘッドを採用し、クラスタリング精度を大幅に向上させた。
  論文  参考訳（メタデータ） (2025-11-30T04:36:51Z)
• GroupCoOp: Group-robust Fine-tuning via Group Prompt Learning [57.888537648437115]
  Group Context Optimization (GroupCoOp) は、単純で効果的な微調整アルゴリズムである。 微調整視覚言語モデル(VLM)の群ロバスト性を高める GroupCoOpは、5つのCLIPアーキテクチャにわたる5つのベンチマークで最高の結果を得た。
  論文  参考訳（メタデータ） (2025-09-28T09:54:30Z)
• Multimodal Clustering Networks for Self-supervised Learning from Unlabeled Videos [69.61522804742427]
  本稿では,共通のマルチモーダル埋め込み空間を学習する自己監督型トレーニングフレームワークを提案する。 インスタンスレベルのコントラスト学習の概念をマルチモーダルクラスタリングステップで拡張し,モダリティ間の意味的類似性を捉える。 結果として得られる埋め込みスペースは、見えないデータセットや異なるドメインからでも、すべてのモダリティにわたるサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2021-04-26T15:55:01Z)
• Latent Group Structured Multi-task Learning [2.827177139912107]
  マルチタスク学習(MTL)では,様々なタスクを共同で学習することで,鍵となる機械学習アルゴリズムの性能を向上させる。 本稿では,事前情報によって定義されたグループ構造化タスクを奨励するグループ構造化潜在空間マルチタスク学習モデルを提案する。 合成データセットと実世界のデータセットの両方で実験が行われ、シングルタスク学習よりも競争力のあるパフォーマンスを示している。
  論文  参考訳（メタデータ） (2020-11-24T05:38:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。