論文の概要: Merge-Friendly Post-Training Quantization for Multi-Target Domain Adaptation

• arxiv url: http://arxiv.org/abs/2505.23651v1
• Date: Thu, 29 May 2025 17:00:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:08.011064
• Title: Merge-Friendly Post-Training Quantization for Multi-Target Domain Adaptation
• Title（参考訳）: マルチターゲット領域適応のためのマージフレンドリーな後トレーニング量子化
• Authors: Juncheol Shin, Minsang Seok, Seonggon Kim, Eunhyeok Park,
• Abstract要約: 本研究では,誤差障壁のレンズを通したモデルマージにおける量子化の影響を解析する。 マルチターゲット領域適応のためのモデルマージを考慮に入れた,新しい学習後量子化 HDRQ - Hessian および遠方正則化量子化を提案する。 提案手法は, 損失面を平坦化し, モデルマージの円滑化を図っている。
• 参考スコア（独自算出の注目度）: 7.193483612237862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging has emerged as a powerful technique for combining task-specific weights, achieving superior performance in multi-target domain adaptation. However, when applied to practical scenarios, such as quantized models, new challenges arise. In practical scenarios, quantization is often applied to target-specific data, but this process restricts the domain of interest and introduces discretization effects, making model merging highly non-trivial. In this study, we analyze the impact of quantization on model merging through the lens of error barriers. Leveraging these insights, we propose a novel post-training quantization, HDRQ - Hessian and distant regularizing quantization - that is designed to consider model merging for multi-target domain adaptation. Our approach ensures that the quantization process incurs minimal deviation from the source pre-trained model while flattening the loss surface to facilitate smooth model merging. To our knowledge, this is the first study on this challenge, and extensive experiments confirm its effectiveness.
• Abstract（参考訳）: モデルマージはタスク固有の重みを結合する強力な手法として登場し、マルチターゲット領域適応において優れた性能を実現している。 しかし、量子化モデルのような現実的なシナリオに適用すると、新しい課題が生じる。 現実的なシナリオでは、量子化はターゲット固有のデータに適用されることが多いが、このプロセスは関心領域を制限し、離散化効果を導入し、モデルが非自明にマージする。 本研究では,誤差障壁のレンズを通したモデルマージにおける量子化の影響を解析する。 これらの知見を生かして、我々は、マルチターゲットドメイン適応のためのモデルマージを検討するように設計された、新しいトレーニング後の量子化 HDRQ - Hessian and far regularizing Quantization - を提案する。 提案手法は, 損失面を平坦化し, モデルマージの円滑化を図っている。 我々の知る限り、この課題に関する最初の研究であり、広範な実験によってその効果が確認されている。

関連論文リスト

• Post-Training Non-Uniform Quantization for Convolutional Neural Networks [0.0]
  量子化は、大規模なストレージ要件を緩和し、推論プロセスを高速化する技術である。 本稿では,モデル重みに対する学習後の量子化手法を提案する。 提案手法は,量子化ノイズを最小限に抑える数学的保証とともに,最適クリッピングしきい値とスケーリング係数を求める。
  論文  参考訳（メタデータ） (2024-12-10T10:33:58Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。 我々は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化することを実証する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• Investigating the Impact of Quantization on Adversarial Robustness [22.637585106574722]
  量子化は、ディープモデルのビット幅を減らし、実行時のパフォーマンスとストレージ効率を改善する技術である。 現実のシナリオでは、量子化されたモデルは、しばしば逆攻撃に直面する。 我々は、ロバストな最適化を組み込むことのできる量子化パイプラインコンポーネントの影響を、初めて分析する。
  論文  参考訳（メタデータ） (2024-04-08T16:20:15Z)
• Phasic Content Fusing Diffusion Model with Directional Distribution Consistency for Few-Shot Model Adaption [73.98706049140098]
  本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。 具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。 最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-07T14:14:11Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)
• Learning Multi-Task Gaussian Process Over Heterogeneous Input Domains [27.197576157695096]
  マルチタスクガウス過程(MTGP)は、相関タスクを学習するためのよく知られた非パラメトリックベイズモデルである。 本稿では,多様な入力領域でタスクを同時に学習する,新しいヘテロジニアス変分線形モデルであるコリージョン化(HSVLMC)を提案する。
  論文  参考訳（メタデータ） (2022-02-25T11:55:09Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。