論文の概要: Optimal and Near-Optimal Adaptive Vector Quantization

• arxiv url: http://arxiv.org/abs/2402.03158v1
• Date: Mon, 5 Feb 2024 16:27:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 15:08:23.286010
• Title: Optimal and Near-Optimal Adaptive Vector Quantization
• Title（参考訳）: 最適および近似適応ベクトル量子化
• Authors: Ran Ben-Basat, Yaniv Ben-Itzhak, Michael Mitzenmacher, Shay Vargaftik
• Abstract要約: 量子化は、圧縮、モデルウェイトとアクティベーション、データセットを含む多くの機械学習ユースケースの基本的な最適化である。 本稿では,適応ベクトル量子化(AVQ)問題を再検討し,時間と空間の複雑さを改善した最適解を求めるアルゴリズムを提案する。 我々のアルゴリズムは、さまざまな機械学習アプリケーションでより広範囲にAVQを使用するための扉を開く可能性がある。
• 参考スコア（独自算出の注目度）: 16.628351691108687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization is a fundamental optimization for many machine-learning use cases, including compressing gradients, model weights and activations, and datasets. The most accurate form of quantization is \emph{adaptive}, where the error is minimized with respect to a given input, rather than optimizing for the worst case. However, optimal adaptive quantization methods are considered infeasible in terms of both their runtime and memory requirements. We revisit the Adaptive Vector Quantization (AVQ) problem and present algorithms that find optimal solutions with asymptotically improved time and space complexity. We also present an even faster near-optimal algorithm for large inputs. Our experiments show our algorithms may open the door to using AVQ more extensively in a variety of machine learning applications.
• Abstract（参考訳）: 量子化は、圧縮勾配、モデルウェイトとアクティベーション、データセットなど、多くの機械学習ユースケースの基本的な最適化である。 最も正確な量子化形式は \emph{adaptive} であり、最悪の場合を最適化するのではなく、与えられた入力に関して誤差を最小限に抑える。 しかし、最適な適応量子化法は、実行時とメモリ要求の両方の観点からは実現不可能であると考えられる。 適応ベクトル量子化(avq)問題を再検討し,漸近的に改良された時間と空間の複雑性を持つ最適解を求めるアルゴリズムを提案する。 また,大規模入力に対してより高速な近似アルゴリズムを提案する。 我々のアルゴリズムは、さまざまな機械学習アプリケーションでより広範囲にAVQを使用するための扉を開く可能性がある。

関連論文リスト

• Accelerated Gradient Algorithms with Adaptive Subspace Search for Instance-Faster Optimization [6.896308995955336]
  グラディエントベースのミニマックス最適アルゴリズムは、継続的最適化と機械学習の開発を促進する。 本稿では,勾配に基づくアルゴリズムの設計と解析を行う新しい手法を機械学習に直接応用する。
  論文  参考訳（メタデータ） (2023-12-06T01:16:10Z)
• Accelerating genetic optimization of nonlinear model predictive control by learning optimal search space size [0.8057006406834467]
  本稿では,最適空間サイズを学習することで,NMPCの最適化を高速化する手法を提案する。 提案手法を2つの非線形システムで比較し,他の2つのNMPC手法と比較した。
  論文  参考訳（メタデータ） (2023-05-14T08:10:49Z)
• BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
  バイレベル最適化は多くの応用のために機械学習への関心が高まっている。 制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-06-21T20:16:40Z)
• SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
  一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。 特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T15:16:28Z)
• Optimizing Optimizers: Regret-optimal gradient descent algorithms [9.89901717499058]
  我々は,後悔最適アルゴリズムの存在,一意性,一貫性について検討する。 制御問題に対する一階最適条件を提供することにより、後悔最適アルゴリズムはそれらの力学において特定の構造を満たす必要があることを示す。 それらを近似する高速な数値法を提案し,長期的後悔を直接最適化する最適化アルゴリズムを生成する。
  論文  参考訳（メタデータ） (2020-12-31T19:13:53Z)
• Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
  我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。 また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-11-19T10:00:54Z)
• Improving the Quantum Approximate Optimization Algorithm with postselection [0.0]
  組合せ最適化は、短期的およびフォールトトレラントな量子コンピュータに想定される主な応用の1つである。 量子近似最適化アルゴリズム(Quantum Approximate Optimization Algorithm, QAOA)は3つの正則グラフ上のMaxCut問題に適用される。 理論上界と下界を導いており、満たされた辺の分数の一定(小さい)増加が実際に達成可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-10T22:17:50Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。