論文の概要: Accelerated Dynamic Importance Weighting with Versatile Divergence-Minimizing Estimators

• arxiv url: http://arxiv.org/abs/2605.25499v1
• Date: Mon, 25 May 2026 06:58:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.424919
• Title: Accelerated Dynamic Importance Weighting with Versatile Divergence-Minimizing Estimators
• Title（参考訳）: 可変ダイバージェンス最小化推定器による動的重み付けの高速化
• Authors: Tongtong Fang, Nan Lu, Gang Niu, Kenji Fukumizu, Masashi Sugiyama,
• Abstract要約: 共同分散シフト下での深層学習のための統合的で効率的なIWフレームワークである加速DIW(ADIW)を提案する。 ADIWはDIWを多種多様な重み推定手法をサポートする統一分散最小化フレームワークに一般化する。 ADIWは最先端のIW性能を実現し、より効率的である。
• 参考スコア（独自算出の注目度）: 62.20244820580353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Importance weighting (IW) is a golden solver for joint distribution shift, where the joint distributions differ between the training and test data. To solve this problem, IW estimates test-to-training density ratios as importance weights and reweights the training losses accordingly. Recent advances in dynamic IW (DIW) integrate weight estimation into model training, enabling scalable IW for deep models and achieving strong performance on large modern datasets. Despite its promise, DIW remains limited in two aspects. First, it incurs substantial computational overhead by solving a kernel mean matching (KMM)-induced optimization problem to convergence in every mini-batch. Second, it relies solely on KMM for weight estimation, whereas the IW literature contains diverse estimation methods based on different divergence measures. In this paper, we propose accelerated DIW (ADIW), a unified and efficient IW framework for deep learning under joint distribution shift. ADIW performs a few lightweight projected gradient descent updates that warm-start from previously updated weights, substantially improving efficiency. Moreover, ADIW generalizes DIW into a unified divergence-minimization framework that supports diverse weight-estimation methods in a plug-and-play manner, including those based on the Kullback-Leibler divergence, squared distance, and Wasserstein-1 distance. We establish convergence guarantees for ADIW under mild conditions, and empirical results demonstrate that ADIW achieves state-of-the-art IW performance while being substantially more efficient.
• Abstract（参考訳）: 重要度重み付け (IW) は, トレーニングデータと試験データとで共同分布が異なる, 共同分布シフトの黄金解法である。 この問題を解決するために、IWはテスト対トレーニング密度比を重みとして推定し、それに応じてトレーニング損失を再重み付けする。 動的IW(DIW)の最近の進歩は、重み推定をモデルトレーニングに統合し、ディープモデルにスケーラブルなIWを可能にし、大規模なモダンデータセット上で強力なパフォーマンスを実現する。 約束にもかかわらず、DIWは2つの面で制限されている。 第一に、カーネル平均マッチング(KMM)による最適化問題を各ミニバッチに収束させることで、かなりの計算オーバーヘッドを発生させる。 第二に、重量推定はKMMのみに頼っているのに対し、IWの文献は異なる発散度尺度に基づく様々な推定方法を含んでいる。 本稿では,共同分散シフト下での深層学習のための統合的で効率的なIWフレームワークであるアクセラレーションDIW(ADIW)を提案する。 ADIWは、以前更新された重みからウォームスタートする軽量な勾配降下アップデートをいくつか実行し、効率を大幅に改善した。 さらに、ADIWは、Kullback-Leiblerの発散、二乗距離、Wasserstein-1距離などを含む様々な重み推定手法をプラグ・アンド・プレイ方式でサポートする統一的な発散最小化フレームワークにDIWを一般化する。 我々は,ADIWの収束保証を軽度条件下で確立し,ADIWが最先端IW性能を著しく向上しつつ達成できることを実証した。

関連論文リスト

• DyWeight: Dynamic Gradient Weighting for Few-Step Diffusion Sampling [18.524470249911232]
  Dynamic Gradient Weighting (DyWeight)は、軽量で学習ベースのマルチステップソルバである。 DyWeightは、歴史的勾配を適応的に集約する制約のない時間変化パラメータを学習する。 CIFAR-10、FFHQ、AFHQv2、ImageNet64、LSUN-Bedroom、Stable Diffusion、FLUX.1-devの実験は、DyWeightが優れた視力と安定性を達成することを示した。
  論文  参考訳（メタデータ） (2026-03-12T07:01:44Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)
• AHDMIL: Asymmetric Hierarchical Distillation Multi-Instance Learning for Fast and Accurate Whole-Slide Image Classification [51.525891360380285]
  AHDMILは非対称な階層的蒸留マルチインスタンス学習フレームワークである。 2段階のトレーニングプロセスを通じて、無関係なパッチを排除します。 分類性能と推論速度の両方において、従来の最先端手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-08-07T07:47:16Z)
• A General Adaptive Dual-level Weighting Mechanism for Remote Sensing Pansharpening [11.791358860917189]
  リモートセンシングの深層学習法は 急速に進歩しています 多くの既存手法は特徴の不均一性と冗長性を完全に活用するのに苦労している。 これらの課題に対処するために、一般適応二重レベル重み付け機構(ADWM)を導入する。
  論文  参考訳（メタデータ） (2025-03-17T14:24:00Z)
• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.67982828148859]
  深層ニューラルネットワークのための統合トレーニングフレームワークを提案する。 我々は,事前条件付き勾配最適化を利用するMARSの3つの例を紹介する。 その結果,MARSの実装はAdamより一貫して優れていた。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Diverse Weight Averaging for Out-of-Distribution Generalization [100.22155775568761]
  単走ではなく、複数の独立したトレーニングランから得られる平均重量について、Diverse Weight Averaging (DiWA)を提案する。 DiWAは、推論オーバーヘッドなしに競合するDomainBedベンチマークのテクニックの状態を継続的に改善します。
  論文  参考訳（メタデータ） (2022-05-19T17:44:22Z)
• Rethinking Importance Weighting for Deep Learning under Distribution Shift [86.52964129830706]
  トレーニングデータ分布がテストと異なる分散シフト(DS)では、DSを2つの別々のステップで処理する重要重み付け(IW)が強力なテクニックである。 本稿では、IWを再考し、それが円形依存に苦しむことを理論的に示す。 本稿では、WEとWCを反復し、それらをシームレスに組み合わせたエンドツーエンドの動的IWを提案する。
  論文  参考訳（メタデータ） (2020-06-08T15:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。