論文の概要: Leveraging Multi-Modal Information to Enhance Dataset Distillation

• arxiv url: http://arxiv.org/abs/2505.08605v2
• Date: Thu, 15 May 2025 08:19:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 12:00:18.771849
• Title: Leveraging Multi-Modal Information to Enhance Dataset Distillation
• Title（参考訳）: マルチモーダル情報の活用によるデータセット蒸留の促進
• Authors: Zhe Li, Hadrien Reynaud, Bernhard Kainz,
• Abstract要約: 本稿では, キャプション誘導型監視とオブジェクト中心マスキングの2つの重要な拡張点について紹介する。 テキスト情報を統合するために,キャプション機能を利用する2つの手法を提案する。 包括的評価は、キャプションベースのガイダンスとオブジェクト中心マスキングを組み合わせることで、データセットの蒸留が促進されることを示している。
• 参考スコア（独自算出の注目度）: 9.251951276795255
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Dataset distillation aims to create a compact and highly representative synthetic dataset that preserves the knowledge of a larger real dataset. While existing methods primarily focus on optimizing visual representations, incorporating additional modalities and refining object-level information can significantly improve the quality of distilled datasets. In this work, we introduce two key enhancements to dataset distillation: caption-guided supervision and object-centric masking. To integrate textual information, we propose two strategies for leveraging caption features: the feature concatenation, where caption embeddings are fused with visual features at the classification stage, and caption matching, which introduces a caption-based alignment loss during training to ensure semantic coherence between real and synthetic data. Additionally, we apply segmentation masks to isolate target objects and remove background distractions, introducing two loss functions designed for object-centric learning: masked feature alignment loss and masked gradient matching loss. Comprehensive evaluations demonstrate that integrating caption-based guidance and object-centric masking enhances dataset distillation, leading to synthetic datasets that achieve superior performance on downstream tasks.
• Abstract（参考訳）: データセット蒸留は、より大きな実際のデータセットの知識を保存するコンパクトで非常に代表的な合成データセットを作成することを目的としている。 既存の手法は主に視覚表現の最適化に重点を置いているが、追加のモダリティを導入し、オブジェクトレベルの情報を精査することで、蒸留データセットの品質を大幅に向上させることができる。 本研究では, キャプション誘導型監視とオブジェクト中心マスキングという, データセット蒸留の2つの重要な拡張点を紹介する。 テキスト情報を統合するために,キャプションの組込みが視覚的特徴と融合する特徴連結と,実データと合成データのセマンティックコヒーレンスを確保するために,トレーニング中にキャプションベースのアライメントロスを導入するキャプションマッチングの2つの手法を提案する。 さらに,対象物体を分離し,背景歪みを除去するためにセグメンテーションマスクを適用し,物体中心学習用に設計された2つの損失関数(マスク付き特徴アライメント損失とマスク付き勾配マッチング損失)を導入する。 包括的評価では、キャプションベースのガイダンスとオブジェクト中心マスキングを組み合わせることで、データセットの蒸留が促進され、下流タスクにおける優れたパフォーマンスを実現する合成データセットが生成される。

関連論文リスト

• Enhancing Generalization via Sharpness-Aware Trajectory Matching for Dataset Condensation [37.77454972709646]
  学習した合成データセットの一般化能力を高めるシャープネス認識軌道マッチング(SATM)を導入する。 我々の手法は数学的に十分サポートされており、制御可能な計算オーバーヘッドとともに実装が容易である。
  論文  参考訳（メタデータ） (2025-02-03T22:30:06Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Prioritize Alignment in Dataset Distillation [27.71563788300818]
  既存の方法はエージェントモデルを使用して、ターゲットデータセットから情報を抽出し、蒸留データセットに埋め込む。 既存の手法では,情報抽出と埋め込みの両方の段階において,不整合情報を導入している。 本稿では、以下の2つの視点から情報を整列するデータセット蒸留(PAD)における優先順位付けアライメントを提案する。
  論文  参考訳（メタデータ） (2024-08-06T17:07:28Z)
• Hierarchical Features Matter: A Deep Exploration of Progressive Parameterization Method for Dataset Distillation [44.03611131165989]
  階層型生成蒸留(H-PD)と呼ばれる新しい生成パラメータ化法を提案する。 提案したH-PDは、等価な時間消費で様々な設定で大幅な性能向上を実現している。 IPC=1, IPC=10の超過圧縮比下での拡散モデルを用いて, 現在の再生蒸留を超越している。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• ATOM: Attention Mixer for Efficient Dataset Distillation [17.370852204228253]
  本研究では,チャネルと空間的注意の混合を用いて,大規模データセットを効率よく抽出するモジュールを提案する。 どちらのタイプの注目も統合することで、ATOMモジュールは様々なコンピュータビジョンデータセットにまたがる優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-02T15:15:01Z)
• Semi-Supervised Image Captioning by Adversarially Propagating Labeled Data [95.0476489266988]
  本稿では、画像キャプションモデルの一般化を改善するための、新しいデータ効率半教師付きフレームワークを提案する。 提案手法は,キャプタにペアデータから学習し,段階的に未ペアデータの関連付けを行うよう訓練する。 1)画像ベースと(2)高密度領域ベースキャプションデータセットの両方を総合的かつ包括的な実験結果とし,それに続いて,少ないペアリングデータセットの包括的分析を行った。
  論文  参考訳（メタデータ） (2023-01-26T15:25:43Z)
• Dataset Distillation via Factorization [58.8114016318593]
  既存のデータセット蒸留(DD)ベースラインに移植可能なプラグ・アンド・プレイ戦略であるEmphHaBaと呼ばれるEmphdataset Factorizationアプローチを導入する。 emphHaBaは、データセットをデータemphHallucinationネットワークとemphBaseの2つのコンポーネントに分解する方法を探っている。 提案手法は, 圧縮パラメータの総数を最大65%削減しつつ, 下流の分類タスクを従来に比べて大幅に改善することができる。
  論文  参考訳（メタデータ） (2022-10-30T08:36:19Z)
• Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
  我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。 本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2022-05-30T17:50:59Z)
• Synthetic Convolutional Features for Improved Semantic Segmentation [139.5772851285601]
  本稿では、中間畳み込み特徴を生成することを提案し、そのような中間畳み込み特徴に対応する最初の合成手法を提案する。 これにより、ラベルマスクから新機能を生成し、トレーニング手順にうまく組み込むことができます。 Cityscapes と ADE20K の2つの挑戦的なデータセットに関する実験結果と分析により,生成した特徴がセグメンテーションタスクのパフォーマンスを向上させることが示された。
  論文  参考訳（メタデータ） (2020-09-18T14:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。