論文の概要: On the Interaction Between Model Compression and Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2609.03604v1
• Date: Thu, 03 Sep 2026 09:49:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.008246
• Title: On the Interaction Between Model Compression and Test-Time Adaptation
• Title（参考訳）: モデル圧縮とテスト時間適応の相互作用について
• Abstract要約: 構造圧縮が分散シフトの下でモデルに適応する能力にどのように影響するかを解析する。 本稿では,表現表現性と適応部分空間の互換性を検討するための診断フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.18375474723875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks deployed in the wild must be both efficient and adaptable, requiring model compression and test-time adaptation (TTA). While both are well studied in isolation, their interaction remains poorly understood. We systematically analyze how structured compression affects a model's ability to adapt under distribution shift. Using ResNet-18 and ViT-Base on CIFAR-10-C and ImageNet-C, we evaluate multiple compression methods combined with standard TTA techniques. We introduce a diagnostic framework that examines representational expressivity and adaptation subspace compatibility. Our results reveal a consistent gap: although compressed models retain high accuracy under supervised adaptation, their TTA performance degrades significantly with increasing compression. We show that this stems from reduced representational diversity and structural constraints that limit recoverability. These effects strongly depend on the compression method, highlighting the need to design compression strategies that preserve adaptability.
• Abstract（参考訳）: 野生に展開されるディープニューラルネットワークは効率的かつ適応可能であり、モデル圧縮とテスト時間適応(TTA)が必要である。 どちらも独立して研究されているが、それらの相互作用はいまだに理解されていない。 構造的圧縮が分布シフトの下でモデルに適応する能力にどう影響するかを系統的に解析する。 CIFAR-10-C と ImageNet-C の ResNet-18 と ViT-Base を用いて,標準的な TTA 技術と組み合わせた複数の圧縮手法を評価する。 本稿では,表現表現性と適応部分空間の互換性を検討するための診断フレームワークを提案する。 圧縮モデルでは教師付き適応の精度は高いが,TTA性能は圧縮の増大とともに著しく低下する。 これは、表現の多様性や構造的制約を減らし、回復可能性を制限することに起因している。 これらの効果は圧縮法に強く依存しており、適応性を維持する圧縮戦略の設計の必要性を強調している。

関連論文リスト

• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• MTC-VAE: Multi-Level Temporal Compression with Content Awareness [54.85288415164888]
  Latent Video Diffusion Models (LVDMs) は可変オートエンコーダ (VAEs) を使ってビデオをコンパクトな遅延表現に圧縮する。 固定圧縮率VAEを多段階時間圧縮をサポートするモデルに変換する手法を提案する。
  論文  参考訳（メタデータ） (2026-02-01T17:08:02Z)
• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• Pathology Image Compression with Pre-trained Autoencoders [52.208181380986524]
  デジタル病理学における全スライド画像は、記憶、伝達、計算効率の面で大きな課題をもたらす。 JPEGのような標準的な圧縮手法はファイルサイズを小さくするが、下流のタスクに不可欠な微細な表現型の詳細を保存できない。 本研究では,遅延拡散モデル用に設計されたオートエンコーダ(AE)を,病理画像の効率的な学習圧縮フレームワークとして再利用する。
  論文  参考訳（メタデータ） (2025-03-14T17:01:17Z)
• Choose Your Model Size: Any Compression of Large Language Models Without Re-Computation [10.376875638696504]
  本研究は, 圧縮性能トレードオフを決定するアルゴリズム手法であるACIP (Any Compression via Iterative Pruning) を提案する。 線形層をSVDで再パラメータ化し,その特異値をスペーサ性誘導ペナルティで反復的にプルーする。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• Communication Compression for Distributed Learning without Control Variates [43.69787537805927]
  本稿では,過去の集約更新を利用して圧縮可能なクライアントを実現する分散アルゴリズムを提案する。 実験結果から,CAFeは既存の分散圧縮学習方式よりも優れていたことが確認された。
  論文  参考訳（メタデータ） (2024-12-05T18:46:20Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• Neural Network Compression Via Sparse Optimization [23.184290795230897]
  スパース最適化の最近の進歩に基づくモデル圧縮フレームワークを提案する。 我々は、CIFAR10のVGG16とImageNetのResNet50で、同じレベルの精度で、最大7.2倍と2.9倍のFLOPを削減できる。
  論文  参考訳（メタデータ） (2020-11-10T03:03:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。