論文の概要: Compander-Aligned Query Geometry for Quantized Zeroth-Order Optimization

• arxiv url: http://arxiv.org/abs/2605.10673v1
• Date: Mon, 11 May 2026 14:55:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.9133
• Title: Compander-Aligned Query Geometry for Quantized Zeroth-Order Optimization
• Title（参考訳）: 量子化ゼロ階最適化のためのコンパランダ対応クエリ幾何
• Authors: Yao Shu, Zilin Zhu,
• Abstract要約: CAQ-ZO は 1-grid-step Rademacher stencils $z pm r$ in $z = (x)$,map endpoints back through $-1$, update in $z$ となる。 提案理論は, グリッドの分散性を証明し, 終端を囲む推定器残差を分解し, 一般のオフグリッドクエリが2/2$残差チャネルを保持するステーション境界を与える一方で, CAQ-ZO はクエリ時間残差を正確にゼロにする。
• 参考スコア（独自算出の注目度）: 12.92201130466754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-bit forward evaluation is an attractive route to memory-efficient zeroth-order (ZO) adaptation: the optimizer needs only scalar losses, and the model can be queried near deployment precision. The obstacle is that a quantized ZO query is not a continuous finite difference followed by harmless storage rounding. The query chooses endpoints, the low-precision engine rounds them, and the loss difference is measured along the rounded chord. For nonuniform companding quantizers, this makes the codebook insufficient to predict ZO behavior: a fixed weight-space radius can collapse in dense cells, over-span sparse cells, or assign a rounded chord to an unrounded update direction. We identify the missing object as query geometry and model scalar nonuniform quantization as $Q = φ^{-1} \circ U \circ φ$. CAQ-ZO (Compander-Aligned Queries for Zeroth-Order Optimization) forms one-grid-step Rademacher stencils $z \pm Δr$ in $z = φ(x)$, maps endpoints back through $φ^{-1}$, and updates in $z$. Our theory proves the grid-span mismatch, decomposes endpoint-rounding estimator residuals, and gives stationarity bounds in which generic off-grid queries retain a $Δ^2/μ^2$ residual channel while CAQ-ZO makes the query-time residual exactly zero. Synthetic experiments isolate this channel, and matched NF4 Qwen/Llama fine-tuning shows that CAQ-ZO improves the trained NF4 baseline under the same quantizer and evaluation budget.
• Abstract（参考訳）: 低ビット前方評価は、メモリ効率のゼロオーダー適応(ZO)への魅力的な経路である。 障害となるのは、量子化されたZOクエリが連続的な有限差ではなく、無害なストレージラウンド化である。 クエリはエンドポイントを選択し、低精度エンジンはそれらをラウンドし、損失差は丸いコードに沿って測定される。 非一様補償量子化器の場合、この符号ブックはZOの振舞いを予測するのに不十分であり、固定された重量空間半径は高密度の細胞やオーバースパンのスパース細胞に崩壊したり、丸い弦を周囲の更新方向に割り当てたりすることができる。 欠落したオブジェクトをクエリー幾何学とモデルスカラー非一様量子化として、$Q = φ^{-1} \circ U \circ φ$とする。 CAQ-ZO (Compander-Aligned Queries for Zeroth-Order Optimization) は 1-grid-step Rademacher stencils $z \pm Δr$ in $z = φ(x)$, map endpoints back through $φ^{-1}$, update in $z$ となる。 我々の理論は、グリッド・スパンのミスマッチを証明し、終端を囲む推定器残差を分解し、一般的なオフグリッドクエリが$Δ^2/μ^2$残差チャネルを保持し、CAQ-ZOはクエリ時間残差を正確にゼロにする。 合成実験により、このチャネルを分離し、NF4 Qwen/Llama微調整により、CAQ-ZOが同じ定量化および評価予算の下でトレーニングされたNF4ベースラインを改善することを示す。

関連論文リスト

• GridProbe: Posterior-Probing for Adaptive Test-Time Compute in Long-Video VLMs [3.9266376632068485]
  GridProbeは、効率的なトレーニング不要な後処理推論パラダイムである。 解答空間における証拠は、凍結したVLM自身の推論を用いて得られる。 疑似関連フレームを適応的に選択し、精度の損失が少なくて、準四分法的な注意コストをもたらす。
  論文  参考訳（メタデータ） (2026-05-11T15:57:46Z)
• Coherent Rollout Oracles for Finite-Horizon Sequential Decision Problems [0.0]
  逐次決定問題に対するコヒーレント量子ロールアウトには、ユニタリシミュレータが必要である。 枝依存の有効作用では、この写像は、絡み合った$N-bitマスク上のコヒーレントなランク選択である。 このプリミティブの最初の可逆・可逆的複雑性解析を行う。
  論文  参考訳（メタデータ） (2026-04-28T00:46:37Z)
• Preserve-Then-Quantize: Balancing Rank Budgets for Quantization Error Reconstruction in LLMs [6.571619511143774]
  量子化エラー再構成(QER)は、量子化エラーを再現するためにランク=$r$の補正を用いて、重量を$mathbfW approx mathbfQ + mathbfLmathbfR$と近似することで、PTQ(Post-Training Quantization)の精度損失を低減する。 SRR(Structured Residual Residual Restruction)は、量子化前のアクティベーションスケールウェイトのトップ$k$特異部分空間を保存し、残余のみを量子化し、残余を$rとするランク割り当てフレームワークである。
  論文  参考訳（メタデータ） (2026-02-02T12:02:21Z)
• TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
  トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。 NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
  論文  参考訳（メタデータ） (2025-11-12T23:09:52Z)
• qc-kmeans: A Quantum Compressive K-Means Algorithm for NISQ Devices [3.4129039170001314]
  NISQハードウェア上のクラスタリングは、データローディングと限定キュービットによって制限される。 提案するqc-kmeansは,QAOA回路が浅いグループごとのQUBOを解くことで,一定のサイズのフーリエ特徴スケッチでデータセットを要約し,セントロイドを選択するハイブリッドな$k$-meansである。
  論文  参考訳（メタデータ） (2025-10-26T05:44:17Z)
• Provably Efficient High-Dimensional Bandit Learning with Batched Feedbacks [93.00280593719513]
  本稿では,オンラインインタラクションのT$ステップをバッチに分割したバッチフィードバックによる高次元マルチアームコンテキストバンドレットについて検討する。 具体的には、各バッチは以前のバッチに依存するポリシーに従ってデータを収集し、その報酬はバッチの最後にのみ明らかにする。 我々のアルゴリズムは,$mathcalO( log T)$ バッチで完全に逐次的に設定されたものに匹敵する後悔の限界を達成している。
  論文  参考訳（メタデータ） (2023-11-22T06:06:54Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Differentially Quantized Gradient Methods [53.3186247068836]
  微分量子化グラディエントDescence (DQ-GD) が$maxsigma_mathrmGD, rhon 2-R$の線形収縮係数を得ることを示す。 あるクラス内のアルゴリズムは$maxsigma_mathrmGD, 2-R$よりも早く収束できない。
  論文  参考訳（メタデータ） (2020-02-06T20:40:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。