論文の概要: Frequency Composition for Compressed and Domain-Adaptive Neural Networks

• arxiv url: http://arxiv.org/abs/2505.20890v1
• Date: Tue, 27 May 2025 08:33:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.518668
• Title: Frequency Composition for Compressed and Domain-Adaptive Neural Networks
• Title（参考訳）: 圧縮領域適応型ニューラルネットワークの周波数組成
• Authors: Yoojin Kwon, Hongjun Suh, Wooseok Lee, Taesik Gong, Songyi Han, Hyung-Sin Kim,
• Abstract要約: CoDAは、圧縮とドメイン適応を統合する周波数合成ベースのフレームワークである。 CoDAは、CIFAR10-CやImageNet-Cなど、広く使われているドメインシフトベンチマークで評価されている。
• 参考スコア（独自算出の注目度）: 5.776473296563129
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern on-device neural network applications must operate under resource constraints while adapting to unpredictable domain shifts. However, this combined challenge-model compression and domain adaptation-remains largely unaddressed, as prior work has tackled each issue in isolation: compressed networks prioritize efficiency within a fixed domain, whereas large, capable models focus on handling domain shifts. In this work, we propose CoDA, a frequency composition-based framework that unifies compression and domain adaptation. During training, CoDA employs quantization-aware training (QAT) with low-frequency components, enabling a compressed model to selectively learn robust, generalizable features. At test time, it refines the compact model in a source-free manner (i.e., test-time adaptation, TTA), leveraging the full-frequency information from incoming data to adapt to target domains while treating high-frequency components as domain-specific cues. LFC are aligned with the trained distribution, while HFC unique to the target distribution are solely utilized for batch normalization. CoDA can be integrated synergistically into existing QAT and TTA methods. CoDA is evaluated on widely used domain-shift benchmarks, including CIFAR10-C and ImageNet-C, across various model architectures. With significant compression, it achieves accuracy improvements of 7.96%p on CIFAR10-C and 5.37%p on ImageNet-C over the full-precision TTA baseline.
• Abstract（参考訳）: 現代のオンデバイスニューラルネットワークアプリケーションは、予測不可能なドメインシフトに適応しながら、リソース制約の下で動作しなければならない。 圧縮されたネットワークは固定されたドメイン内で効率を優先するが、大規模で有能なモデルはドメインシフトを扱うことに重点を置いている。 本研究では、圧縮とドメイン適応を統一する周波数合成に基づくフレームワークであるCoDAを提案する。 トレーニング中、CoDAはQAT(quantization-aware training)と低周波成分を採用し、圧縮されたモデルが堅牢で一般化可能な特徴を選択的に学習できるようにする。 テスト時には、ソースフリーな方法でコンパクトモデルを洗練し(すなわち、テスト時適応、TTA)、入力データからのフル周波数情報を活用して、高周波数成分をドメイン固有のキューとして扱いながら、ターゲットドメインに適応する。 LFCはトレーニングされた分布に一致し、HFCはターゲット分布に固有のものであり、バッチ正規化にのみ利用される。 CoDAは、既存のQATおよびTTAメソッドと相乗的に統合することができる。 CoDAはCIFAR10-CやImageNet-Cなど、様々なモデルアーキテクチャで広く使われているドメインシフトベンチマークで評価されている。 CIFAR10-Cでは7.96%、ImageNet-Cでは5.37%の精度向上を実現している。

関連論文リスト

• Joint Hierarchical Priors and Adaptive Spatial Resolution for Efficient Neural Image Compression [11.25130799452367]
  ニューラル画像圧縮(NIC)のための絶対画像圧縮変換器(ICT)を提案する。 ICTは、潜在表現からグローバルコンテキストとローカルコンテキストの両方をキャプチャし、量子化された潜在表現の分布をパラメータ化する。 我々のフレームワークは、多目的ビデオ符号化(VVC)参照符号化(VTM-18.0)とニューラルスウィンT-ChARMに対する符号化効率とデコーダ複雑性のトレードオフを大幅に改善する。
  論文  参考訳（メタデータ） (2023-07-05T13:17:14Z)
• Test-time Adaptation in the Dynamic World with Compound Domain Knowledge Management [75.86903206636741]
  テスト時間適応(TTA)により、モデルは新しい環境に適応し、テスト時間中にパフォーマンスを向上させることができる。 TTAのいくつかの研究は、継続的に変化する環境において、有望な適応性能を示している。 本稿ではまず,複合ドメイン知識管理を用いた堅牢なTTAフレームワークを提案する。 次に、ソースと現在のターゲットドメイン間のドメイン類似性を用いて適応率を変調する新しい正規化を考案する。
  論文  参考訳（メタデータ） (2022-12-16T09:02:01Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Amplitude Spectrum Transformation for Open Compound Domain Adaptive Semantic Segmentation [62.68759523116924]
  オープン化合物ドメイン適応(OCDA)は、実用的な適応セットとして現れている。 我々は、新しい特徴空間振幅スペクトル変換(AST)を提案する。
  論文  参考訳（メタデータ） (2022-02-09T05:40:34Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• Rethinking FUN: Frequency-Domain Utilization Networks [21.10493050675827]
  本稿では、新しい周波数領域利用ネットワークのファミリーであるFUNを紹介する。 これらのネットワークは、その領域で直接作業することで周波数領域の固有効率を利用する。 周波数領域での動作は、アーキテクチャに明示的な変更を加えることなく、推論時に入力を動的に圧縮できることを示す。
  論文  参考訳（メタデータ） (2020-12-06T19:16:37Z)
• Joint Progressive Knowledge Distillation and Unsupervised Domain Adaptation [15.115086812609182]
  そこで本研究では,CNNの協調最適化手法として,対象領域に適合する圧縮モデルを提案する。 提案手法は,Office31 と ImageClef-DA の2種類の UDA 分類データセットを用いて,最先端圧縮と UDA 技術との比較を行った。
  論文  参考訳（メタデータ） (2020-05-16T01:07:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。