Fugu-MT 論文翻訳(概要): Toward Multi-Domain and Long-Tailed Quantization via Feature Alignment and Scaling

論文の概要: Toward Multi-Domain and Long-Tailed Quantization via Feature Alignment and Scaling

arxiv url: http://arxiv.org/abs/2606.04920v2
Date: Sun, 07 Jun 2026 12:52:57 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-09 14:42:04.964558
Title: Toward Multi-Domain and Long-Tailed Quantization via Feature Alignment and Scaling
Title（参考訳）: 特徴アライメントとスケーリングによる多元量子化と長期量子化に向けて
Authors: Ting-An Chen, Chin-Yuan Yeh, De-Nian Yang,
Abstract要約: 領域分布をCDFベースのプロジェクションで整列する効率的なマルチドメインアライメント量子化(EmaQ)を提案する。 EmaQをEmaQ-LTに拡張し、クラス条件の分散スケーリングと信頼性に基づくロジット調整を導入する。実験により、EmaQとEmaQ-LTはドメインシフトとクラス不均衡の下で強い低ビット性能を実現することが示された。
参考スコア（独自算出の注目度）: 12.751441708353482
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Quantizing deep neural networks is essential for efficient inference on resource-constrained devices. However, most existing methods are designed for single-domain and class-balanced data, leaving practical settings with domain shifts or severe class imbalance underexplored. We address these challenges with Efficient Multi-Domain Alignment Quantization (EmaQ), which aligns domain distributions through a CDF-based projection and uses sensitivity-aware weight aggregation to stabilize multi-domain quantization. We further extend EmaQ to EmaQ-LT for long-tailed quantization by introducing class-conditioned variance scaling and confidence-based logit adjustment to mitigate majority-class overconfidence. Theoretical analyses establish convergence guarantees and motivate the proposed sensitivity and scaling mechanisms. Experiments on standard, multi-domain (Office-31, Digits), and long-tailed (SynDigits-LT, CIFAR-10-LT, CIFAR-100-LT) benchmarks show that EmaQ and EmaQ-LT achieve strong low-bit performance under domain shift and class imbalance.
Abstract（参考訳）: リソース制約のあるデバイス上での効率的な推論には、ディープニューラルネットワークの量子化が不可欠である。しかし、既存のほとんどのメソッドは単一ドメインとクラスバランスのデータのために設計されており、ドメインシフトや厳密なクラスバランスが未調査のままである。我々は,CDFベースのプロジェクションを通じて領域分布を整列し,感度を考慮した重み付けを用いてマルチドメイン量子化を安定化する,効率的なマルチドメインアライメント量子化(EmaQ)によってこれらの課題に対処する。さらにEmaQをEmaQ-LTに拡張し、クラス条件の分散スケーリングと信頼度に基づくロジット調整を導入し、多数派の過信を緩和する。理論的解析は収束の保証を確立し、提案された感度とスケーリングメカニズムを動機づける。標準、マルチドメイン(Office-31、Digits)およびロングテール(SynDigits-LT、CIFAR-10-LT、CIFAR-100-LT)ベンチマークの実験は、EmaQとEmaQ-LTがドメインシフトとクラス不均衡の下で強い低ビット性能を達成することを示した。

関連論文リスト

EQE-QAOA: An Equivalence-Preserving Qubit Efficient Framework for Combinatorial Optimization [54.05451096499336]
既存の技術は情報損失のコストで量子ビットの削減に依存しており、計算性能は劣化している。等価保存量子ビット効率QAOAを提案し、性能を劣化させることなく必要なキュービット数を著しく削減する。完全独立変数を持つ非制約問題を除いて,大規模最適化問題に広く適用可能であることを示す。
論文参考訳（メタデータ） (2026-04-20T13:57:49Z)
Adaptive Distribution-aware Quantization for Mixed-Precision Neural Networks [12.36496914117844]
QAT(Quantization-Aware Training)は、リソース制約のあるデバイスにディープニューラルネットワークをデプロイするための重要なテクニックである。本稿では,適応分布対応量子化(adaptive Distribution-aware Quantization,ADQ)を提案する。
論文参考訳（メタデータ） (2025-10-22T16:48:29Z)
Adaptive Weighted Loss for Sequential Recommendations on Sparse Domains [0.0]
単一の均一な重みは、非常に少ない相互作用を持つドメインでは不十分であり、トレーニング信号は広大な汎用データセットによって容易に希釈される。本稿では, 包括的理論的基礎と広範な実証検証を備えた動的重み付きロス関数を提案する。
論文参考訳（メタデータ） (2025-10-05T21:42:33Z)
HFedATM: Hierarchical Federated Domain Generalization via Optimal Transport and Regularized Mean Aggregation [12.655334562608314]
Federated Learning(FL)は、複数のクライアントが生データを共有せずに、共同で共有グローバルモデルをトレーニングする分散アプローチである。本稿では階層型フェデレーションドメイン一般化(HFedDG)を紹介する。
論文参考訳（メタデータ） (2025-08-07T08:14:52Z)
Layer-wise Quantization for Quantized Optimistic Dual Averaging [75.4148236967503]
我々は、訓練の過程で不均一性に適応し、厳密な分散とコード長境界を持つ一般的な層ワイド量子化フレームワークを開発する。本稿では,適応学習率を持つ量子最適化双対平均化(QODA)アルゴリズムを提案する。
論文参考訳（メタデータ） (2025-05-20T13:53:58Z)
QLLM: Do We Really Need a Mixing Network for Credit Assignment in Multi-Agent Reinforcement Learning? [6.0636611835869205]
マルチエージェント強化学習(MARL)におけるクレジットの割り当ては依然として根本的な課題である。大規模言語モデル(LLM)を用いた信用代入関数の自動構築を容易にする新しいアルゴリズムである textbfQLLM を提案する。いくつかの標準MARLベンチマークで実施された大規模な実験は、提案手法が既存の最先端のベースラインを一貫して上回ることを示した。
論文参考訳（メタデータ） (2025-04-17T14:07:11Z)
UC-MOA: Utility-Conditioned Multi-Objective Alignment for Distributional Pareto-Optimality [52.49062565901046]
Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の価値を整合させる基盤となっている。既存のアプローチは、人間の好みの多次元、分布的なニュアンスを捉えるのに苦労している。本稿では,これらの制約を克服する新しいフレームワークであるUtility-Conditioned Multi-Objective Alignment (UC-MOA)を紹介する。
論文参考訳（メタデータ） (2025-03-10T09:52:42Z)
Mitigating Barren Plateaus in Quantum Neural Networks via an AI-Driven Submartingale-Based Framework [3.0617189749929348]
量子ニューラルネットワーク(QNN)におけるバレンプラトー(BP)の緩和を目的としたAdaInitを提案する。 AdaInitは、非無視的な勾配分散をもたらすQNNの初期パラメータを反復的に合成し、BPを緩和する。 AdaInit が様々な QNN スケールで高い勾配分散を維持するために既存の手法を一貫して上回っていることを実証的に検証する。
論文参考訳（メタデータ） (2025-02-17T05:57:15Z)
QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。我々は、減量量化が損失景観におけるより平坦なミニマムを効果的に導くことを実証した。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。
論文参考訳（メタデータ） (2024-10-08T13:21:48Z)
Investigating the potential of Sparse Mixtures-of-Experts for multi-domain neural machine translation [59.41178047749177]
トレーニング中に見られるさまざまなドメインのデータを扱うことができ、トレーニング中に見つからないドメインに対して堅牢な効率的なモデルを開発することを目的として、マルチドメインニューラルネットワーク翻訳に重点を置いている。 SMOE(Sparse Mixture-of-Experts)モデルは、効率的なモデルスケーリングを可能にするため、このタスクに適していると仮定する。マルチドメインシナリオにおけるSMoEの有用性を検証するための一連の実験を行い、Transformerの簡単な幅スケーリングは、実際はよりシンプルで驚くほど効率的なアプローチであり、SMoEと同等の性能レベルに達することを発見した。
論文参考訳（メタデータ） (2024-07-01T09:45:22Z)
Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文参考訳（メタデータ） (2023-12-10T15:22:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。