論文の概要: Model Distribution-Aware Multimodal Dataset Distillation
- arxiv url: http://arxiv.org/abs/2611.16418v1
- Date: Thu, 12 Nov 2026 07:29:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.388919
- Title: Model Distribution-Aware Multimodal Dataset Distillation
- Title(参考訳): モデル分布を考慮したマルチモーダルデータセット蒸留
- Abstract要約: マルチモーダルデータセット蒸留は、コンパクトな画像テキストデータセットを合成することにより、視覚言語による事前学習のコストを削減することを目的としている。
モデル分布を考慮したマルチモーダルデータセット蒸留(MDA-DD)を提案する。
視覚空間と言語空間における相補的アライメントのための非対称な二重射影を導入する。
- 参考スコア(独自算出の注目度): 55.22104702944798
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal dataset distillation (MDD) aims to reduce the cost of vision-language pre-training by synthesizing compact image-text datasets. Although recent feature-matching methods have improved distillation efficiency, synthetic data may become specialized to the model representations encountered during optimization, limiting generalization to unseen model states. We propose Model Distribution-Aware Multimodal Dataset Distillation (MDA-DD), which leverages supervision from a dynamic staggered queue of models at different training stages. We further introduce asymmetric dual projection for complementary alignment in visual and linguistic spaces and an uncentered second-order moment objective that retains mean-related cross-modal information. Experiments on Flickr30K and MS-COCO demonstrate consistent retrieval improvements over existing methods across synthetic-data budgets. With only 100 synthetic pairs, MDA-DD improves IR@1 and TR@1 on Flickr30K by 12.9 and 18.2 percentage points, respectively, over the strongest baseline at the same budget, outperforming all compared methods using 500 pairs on both datasets across all six retrieval metrics.
- Abstract(参考訳): マルチモーダルデータセット蒸留(MDD)は、コンパクトな画像テキストデータセットを合成することにより、視覚言語による事前学習のコストを削減することを目的としている。
最近の特徴マッチング法では蒸留効率が向上しているが, 合成データは最適化時に発生するモデル表現に特化し, 一般化は未知のモデル状態に制限される可能性がある。
モデル分散を考慮したマルチモーダルデータセット蒸留(MDA-DD)を提案する。
さらに、視覚空間と言語空間における相補的アライメントのための非対称な二重射影と、平均関係のクロスモーダル情報を保持する非中心の2階モーメント目的を導入する。
Flickr30KとMS-COCOの実験では、合成データ予算を通じて既存の手法よりも一貫した検索の改善が示されている。
100組の合成ペアだけで、MDA-DDはFlickr30K上のIR@1とTR@1をそれぞれ12.9と18.2のパーセンテージで改善し、同じ予算で最強のベースラインを上回り、両方のデータセットで500対を使用する比較手法を6つの検索指標すべてで上回っている。
関連論文リスト
- Multimodal Distribution Matching for Vision-Language Dataset Distillation [50.411341509805936]
マルチモーダル分散マッチング(Multimodal Distribution Matching)は、効率的かつ一般化可能なマルチモーダル蒸留のための幾何学的枠組みである。
MDMはデータ、モデル、損失レベルで補完的なコンポーネントを統合する。
マルチモーダルなセマンティクスを保存し、蒸留コストを大幅に削減し、建築全体にわたって頑丈な、コンパクトな合成セットを生成する。
論文 参考訳(メタデータ) (2026-05-22T10:41:58Z) - DMGD: Train-Free Dataset Distillation with Semantic-Distribution Matching in Diffusion Models [15.624945053686107]
本稿では,効率的なトレーニングフリーガイダンスを中心としたDMGD(Dual Matching Guided Diffusion)フレームワークを提案する。
我々は,条件付き確率最適化によるセマンティックマッチングを確立し,補助分類器の必要性を排除した。
また, セマンティックアライメントを維持しつつ, 合成データの多様性を高める動的誘導機構を提案する。
論文 参考訳(メタデータ) (2026-05-05T15:37:50Z) - Learnability-Guided Diffusion for Dataset Distillation [51.56484100374058]
本稿では, 連続的な段階を通して段階的に合成データセットを構成する学習可能性駆動型データセット蒸留法を提案する。
本稿では,学習可能性誘導拡散(LGD)について紹介する。これは,現在のモデルのトレーニングユーティリティと基準モデルの下での妥当性のバランスをとり,カリキュラムに整合したサンプルを生成する。
提案手法は,トレーニング段階間の専門化を促進し,ImageNet-1K (60.1%), ImageNette (87.2%), ImageWoof (72.9%) の最先端結果を実現する。
論文 参考訳(メタデータ) (2026-04-01T06:04:59Z) - Optimizing Distributional Geometry Alignment with Optimal Transport for Generative Dataset Distillation [109.13471554184554]
最適輸送(OT)距離最小化問題としてデータセット蒸留を再構成する。
OTは分布マッチングのための幾何学的に忠実なフレームワークを提供する。
提案手法は, 常に最先端の手法を効率よく上回っている。
論文 参考訳(メタデータ) (2025-11-29T04:04:05Z) - Rethinking Long-tailed Dataset Distillation: A Uni-Level Framework with Unbiased Recovery and Relabeling [105.8570596633629]
トラジェクトリに基づく手法の限界を再考することにより,長い尾のデータセット蒸留を再考する。
統計的アライメントの観点からバイアスをモデル化し、公正な監督を復元する。
提案手法は,CIFAR-100-LTで15.6%,Tiny-ImageNet-LTで11.8%向上する。
論文 参考訳(メタデータ) (2025-11-24T07:57:01Z) - Diffusion Models as Dataset Distillation Priors [39.4727398182562]
本稿では,特徴空間における合成データと実データとの類似性を定量化し,代表性を定式化するAs Diffusion Priors (DAP)を提案する。
DAPは、高忠実度データセットを生成する上で、最先端の手法よりも優れています。
我々の研究は、拡散先行とデータセット蒸留の目的との理論的関係を確立する。
論文 参考訳(メタデータ) (2025-10-20T11:04:09Z) - D$^4$M: Dataset Distillation via Disentangled Diffusion Model [4.568710926635445]
遠方拡散モデル(D$4$M)によるデータセット蒸留のための効率的なフレームワークを提案する。
アーキテクチャに依存した手法と比較して、D$4$Mは一貫性を保証するために遅延拡散モデルを採用し、ラベル情報をカテゴリのプロトタイプに組み込む。
D$4$Mは優れた性能とロバストな一般化を示し、多くの面においてSOTAメソッドを上回っている。
論文 参考訳(メタデータ) (2024-07-21T12:16:20Z) - Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。
DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
論文 参考訳(メタデータ) (2024-03-11T14:07:53Z) - Dataset Distillation via the Wasserstein Metric [34.06251608504682]
We introduced WMDD (Wasserstein Metric-based dataset Distillation), which is simple but powerful method that using the Wasserstein metric to enhance distribution matching。
我々の実験は、WMDDの有効性と適応性を実証し、大規模に機械学習アプリケーションを前進させる可能性を強調した。
論文 参考訳(メタデータ) (2023-11-30T13:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。