論文の概要: Leveraging Second-Order Curvature for Efficient Learned Image Compression: Theory and Empirical Evidence

• arxiv url: http://arxiv.org/abs/2601.20769v1
• Date: Wed, 28 Jan 2026 16:56:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:07.026796
• Title: Leveraging Second-Order Curvature for Efficient Learned Image Compression: Theory and Empirical Evidence
• Title（参考訳）: 効率的な学習画像圧縮のための2次曲線の活用:理論と実証的エビデンス
• Authors: Yichi Zhang, Fengqing Zhu,
• Abstract要約: 我々は,2次準ニュートンであるtextSOAP が,多種多種多様にわたるトレーニング効率と最終性能の両方を劇的に向上させることを示す。 2階のトレーニングされたモデルでは、アクティベーションが大幅に少なく、頑丈さが潜んでいる。
• 参考スコア（独自算出の注目度）: 13.56541419560425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training learned image compression (LIC) models entails navigating a challenging optimization landscape defined by the fundamental trade-off between rate and distortion. Standard first-order optimizers, such as SGD and Adam, struggle with \emph{gradient conflicts} arising from competing objectives, leading to slow convergence and suboptimal rate-distortion performance. In this work, we demonstrate that a simple utilization of a second-order quasi-Newton optimizer, \textbf{SOAP}, dramatically improves both training efficiency and final performance across diverse LICs. Our theoretical and empirical analyses reveal that Newton preconditioning inherently resolves the intra-step and inter-step update conflicts intrinsic to the R-D objective, facilitating faster, more stable convergence. Beyond acceleration, we uncover a critical deployability benefit: second-order trained models exhibit significantly fewer activation and latent outliers. This substantially enhances robustness to post-training quantization. Together, these results establish second-order optimization, achievable as a seamless drop-in replacement of the imported optimizer, as a powerful, practical tool for advancing the efficiency and real-world readiness of LICs.
• Abstract（参考訳）: 学習された画像圧縮(lic)モデルは、速度と歪みの基本的なトレードオフによって定義される、困難な最適化のランドスケープをナビゲートする。 SGDやAdamのような標準の1次最適化器は、競合する目的から生じる「emph{gradient conflicts」と競合し、収束が遅く、速度歪みが小さくなる。 本研究では,2次準ニュートンオプティマイザである \textbf{SOAP} の簡易利用により,多種多種間におけるトレーニング効率と最終性能が劇的に向上することを示す。 我々の理論的および実証的な分析により、ニュートンプレコンディショニングは、R-D目標に固有の段階内および段階間更新競合を本質的に解決し、より高速でより安定した収束を促進することが明らかとなった。 2階のトレーニングされたモデルは、アクティベーションを著しく少なくし、潜伏したアウトリーチを示します。 これにより、後の量子化に対する堅牢性が大幅に向上する。 これらの結果から,輸入したオプティマイザのシームレスなドロップイン代替として実現可能な2次最適化が確立された。

関連論文リスト

• Implicit Neural Representation-Based Continuous Single Image Super Resolution: An Empirical Study [50.15623093332659]
  入射神経表現(INR)は任意のスケール画像超解像(ASSR)の標準的アプローチとなっている 既存の手法を多様な設定で比較し、複数の画像品質指標に対して集計結果を示す。 トレーニング中, エッジ, テクスチャ, 細部を保存しながら, 強度変化をペナライズする新たな損失関数について検討した。
  論文  参考訳（メタデータ） (2026-01-25T07:09:20Z)
• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• Balanced Rate-Distortion Optimization in Learned Image Compression [11.729071258457138]
  ディープラーニングアーキテクチャを使用した学習可能な画像圧縮(lic)は、大きな進歩を遂げている。 標準レート歪み(R-D)最適化はしばしば、レートと歪みの目的の様々な勾配のために不均衡な更新に遭遇する。 本稿では2つのバランスの取れたR-D最適化手法を導入し、勾配更新を適応的に調整し、速度と歪みの両面でより公平な改善を実現する。
  論文  参考訳（メタデータ） (2025-02-27T15:00:43Z)
• E2ED^2:Direct Mapping from Noise to Data for Enhanced Diffusion Models [15.270657838960114]
  拡散モデルは、視覚的生成モデリングにおけるデファクト・プライマリ・パラダイムとして確立されてきた。 最終生成サンプルから初期雑音への直接最適化を実現する新しいエンドツーエンド学習パラダイムを提案する。 Fr'eche't Inception Distance (FID) と CLIP のスコアは,サンプリングステップが少なくても大幅に向上する。
  論文  参考訳（メタデータ） (2024-12-30T16:06:31Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• MUSIC: Accelerated Convergence for Distributed Optimization With Inexact and Exact Methods [6.800113478497425]
  本稿では,MUSICと名づけられた高速化されたフレームワークを提案し,各エージェントが複数のローカル更新と1つの組み合わせをイテレーション毎に実行できるようにする。 そこで我々は, 線形収束を高速化し, 通信効率を向上する2つの新しいアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2024-03-05T02:02:00Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。