論文の概要: Correcting the Sub-optimal Bit Allocation

• arxiv url: http://arxiv.org/abs/2209.14575v1
• Date: Thu, 29 Sep 2022 06:24:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 17:22:05.821262
• Title: Correcting the Sub-optimal Bit Allocation
• Title（参考訳）: サブ最適ビット割り当ての補正
• Authors: Tongda Xu, Han Gao, Yuanyuan Wang, Hongwei Qin, Yan Wang, Jingjing Liu, Ya-Qin Zhang
• Abstract要約: 近年,ビット割り当てが最適であると主張する手法が,実装上,準最適であることが示されている。 補正されたビット割り当ての計算的実現可能性に基づいて、修正された最適ビット割り当てアルゴリズムを導出する。 提案した補正は,R-D性能とソース誤差の点で誤りビット割り当てを著しく改善し,他のビット割り当て手法よりも大きなマージンで性能を向上する。
• 参考スコア（独自算出の注目度）: 16.36843313050813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we investigate the problem of bit allocation in Neural Video Compression (NVC). First, we reveal that a recent bit allocation approach claimed to be optimal is, in fact, sub-optimal due to its implementation. Specifically, we find that its sub-optimality lies in the improper application of semi-amortized variational inference (SAVI) on latent with non-factorized variational posterior. Then, we show that the corrected version of SAVI on non-factorized latent requires recursively applying back-propagating through gradient ascent, based on which we derive the corrected optimal bit allocation algorithm. Due to the computational in-feasibility of the corrected bit allocation, we design an efficient approximation to make it practical. Empirical results show that our proposed correction significantly improves the incorrect bit allocation in terms of R-D performance and bitrate error, and outperforms all other bit allocation methods by a large margin. The source code is provided in the supplementary material.
• Abstract（参考訳）: 本稿では,ニューラルビデオ圧縮(NVC)におけるビット割り当ての問題について検討する。 第一に,近年のビット割り当て手法が最適であると主張するのは,その実装によるサブ最適であることを明らかにした。 具体的には, その準最適性は, 非分解変分体後部潜伏剤に対する半同化変分推論(SAVI)の不適切な適用に関係している。 そこで我々は, 補正された最適ビット割り当てアルゴリズムを導出するために, 補正版SAVIの補正版では, 勾配上昇によるバックプロパゲートを再帰的に適用する必要があることを示した。 修正ビット割り当ての計算不可能性のため,効率的な近似法を設計して実用化する。 実験結果から,提案手法はr-d性能とビットレート誤差の点で不正確なビット割当を大幅に改善し,他の全てのビット割当法を大きく上回った。 補足資料には、ソースコードが設けられている。

関連論文リスト

• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• From Linear to Linearizable Optimization: A Novel Framework with Applications to Stationary and Non-stationary DR-submodular Optimization [33.38582292895673]
  本稿では,モノトーン非線型やDR-サブモジュラリティなど,様々な環境での凹凸とDR-サブモジュラリティの概念を紹介する。 一般的なメタアルゴリズムは、線形/四進関数を上線形/四進関数を最適化するものに変換する。
  論文  参考訳（メタデータ） (2024-04-27T06:19:30Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Optimal Guarantees for Algorithmic Reproducibility and Gradient Complexity in Convex Optimization [55.115992622028685]
  以前の研究は、一階法はより良い収束率(漸進収束率)をトレードオフする必要があることを示唆している。 最適複雑性と準最適収束保証の両方を、滑らかな凸最小化と滑らかな凸最小化問題に対して達成できることを実証する。
  論文  参考訳（メタデータ） (2023-10-26T19:56:52Z)
• Bit Allocation using Optimization [18.847197238348784]
  ニューラルビデオ圧縮(NVC)におけるビット割り当てと半補正変分推論(SAVI)の関係を示す。 従来のビット割り当て手法と異なり、本手法では経験的モデルを必要としないため、最適である。 提案手法は,ビット割り当てのR-D性能の実証的バウンダリとして機能し,性能超過が速度を符号化するシナリオに適用できる。
  論文  参考訳（メタデータ） (2022-09-20T02:40:52Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Variance Reduction on Adaptive Stochastic Mirror Descent [23.451652399157002]
  分散低減は、ほとんどの適応ミラー降下アルゴリズムのSFO複雑性を減少させ、それらの収束を加速させることを示す。 深層学習における実験を用いてクレームの有効性を確認します。
  論文  参考訳（メタデータ） (2020-12-26T15:15:51Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• BAMSProd: A Step towards Generalizing the Adaptive Optimization Methods to Deep Binary Model [34.093978443640616]
  最近のBNN(Binary Neural Networks)の性能は大幅に低下している。 BNNの効果的かつ効率的なトレーニングを保証することは未解決の問題である。 そこで本研究では,BAMSProdアルゴリズムを用いて,深部二元モデルの収束特性が量子化誤差と強く関連していることを示す。
  論文  参考訳（メタデータ） (2020-09-29T06:12:32Z)
• Distributionally Robust Bayesian Optimization [121.71766171427433]
  そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。 提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。 提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
  論文  参考訳（メタデータ） (2020-02-20T22:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。