論文の概要: IMC-CLINIC: Coupled Loss-Informed Newton Iterations for Clipping in Analog In-Memory Computing

• arxiv url: http://arxiv.org/abs/2609.35586v1
• Date: Mon, 28 Sep 2026 16:38:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:35:10.335242
• Title: IMC-CLINIC: Coupled Loss-Informed Newton Iterations for Clipping in Analog In-Memory Computing
• Title（参考訳）: IMC-CLINIC:Analog In-Memory Computingにおけるクリッピングのための結合ロスインフォームされたニュートンイテレーション
• Abstract要約: IMCCLINIC(Coupled Loss-Informed Newton Iterations for Clipping)は,IMC MatMul出力誤差の解析的サロゲートに基づくクリッピングキャリブレーションフレームワークである。 平均ゼロショット精度を6.5-11.5ポイント向上させ、キャリブレーション時間係数を10.0-12.1に下げる。
• 参考スコア（独自算出の注目度）: 4.370535633626118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Analog in-memory computing (IMC) offers a promising path toward energy-efficient large language model (LLM) inference by executing matrix multiplications (MatMul) directly within memory arrays in the analog domain. Its efficiency, however, comes with an additional source of error: limited-precision analog-to-digital converters (ADCs) quantize accumulated analog partial sums, introducing output-side error distinct from conventional activation and weight quantization at the MatMul inputs. Clipping can mitigate both operand and ADC quantization errors, but the optimal clipping factors must jointly balance activation rounding and clipping, weight rounding and clipping, and ADC quantization. Existing clipping methods, designed for digital quantization, do not explicitly optimize these coupled sources of IMC error and often rely on costly search-based calibration. We introduce IMC-CLINIC (Coupled Loss-Informed Newton Iterations for Clipping), a clipping calibration framework based on an analytical surrogate for IMC MatMul output error. The surrogate jointly models operand quantization, accumulated clipping-induced bias, and ADC quantization, enabling efficient evaluation of its gradient and approximate curvature from a small calibration set. IMC-CLINIC jointly optimizes activation and weight clipping factors using a safeguarded Newton-type method. Across multiple models and datasets, it improves average zero-shot accuracy by 6.5-11.5 percentage points over the grid search baseline while reducing calibration time by factors of 10.0-12.1. Its analytical surrogate closely tracks empirical IMC output error, and its optimizer is certified within 1% of the global optimum under the loss objective across all projections on two representative models.
• Abstract（参考訳）: アナログインメモリコンピューティング(IMC)は、アナログ領域のメモリアレイ内で行列乗算(MatMul)を直接実行することにより、エネルギー効率の高い大言語モデル(LLM)推論への有望な経路を提供する。 制限精度のアナログ-デジタル変換器(ADC)は蓄積されたアナログ部分和を量子化し、MateMul入力で従来の活性化と重み量子化とは異なる出力側誤差を導入する。 クリッピングはオペランドとADCの量子化誤差を軽減できるが、最適なクリッピング係数は、アクティベーションラウンドとクリッピング、ウェイトラウンドとクリッピング、およびADC量子化のバランスをとる必要がある。 既存のクリッピング法は、デジタル量子化のために設計されており、MCエラーのこれらの結合したソースを明示的に最適化せず、しばしば高価な検索ベースのキャリブレーションに依存している。 IMC-CLINIC (Coupled Loss-Informed Newton Iterations for Clipping) は,IMC MatMul出力誤差の解析的サロゲートに基づくクリッピングキャリブレーションフレームワークである。 シュロゲートは, オペランド量子化, クリッピング誘起バイアス, ADC量子化を共同でモデル化し, 小型キャリブレーションセットからの勾配および近似曲率の効率的な評価を可能にした。 IMC-CLINICは、安全に保護されたニュートン方式を用いて、アクティベーションとウェイトクリッピングを共同で最適化する。 複数のモデルとデータセットにわたって、平均ゼロショット精度をグリッド検索ベースライン上で6.5-11.5ポイント改善し、キャリブレーション時間を10.0-12.1因子で削減する。 その分析的サロゲートは経験的IMC出力誤差を密に追跡し、最適化器は2つの代表モデル上の全ての射影における損失目標の下で、グローバル最適値の1%以内に認定される。

関連論文リスト

• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
  低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。 いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。 結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
  論文  参考訳（メタデータ） (2025-11-30T16:17:34Z)
• A Convergence Analysis of Adaptive Optimizers under Floating-point Quantization [32.97211471008323]
  我々は、勾配、重み、状態の浮動小数点量子化の下で、アダムやムオンを含む適応収束の最初の理論的枠組みを導入する。 両アルゴリズムが完全精度のアルゴリズムに近い収束率を維持していることを示す。 我々はさらに、Adamが$beta から 1$ への依存のため、高い感度と第二モーメントの量子化重みに敏感であることを明らかにし、Muon はより弱いエラー制御を必要とするため、より堅牢である可能性がある。
  論文  参考訳（メタデータ） (2025-10-24T10:16:23Z)
• Progressive Element-wise Gradient Estimation for Neural Network Quantization [2.1413624861650358]
  量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。 本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。 PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
  論文  参考訳（メタデータ） (2025-08-27T15:59:36Z)
• Column-wise Quantization of Weights and Partial Sums for Accurate and Efficient Compute-In-Memory Accelerators [7.728820930581886]
  CIMはディープニューラルネットワーク(DNN)を実装するための効率的な方法であるが、かなりのオーバーヘッドに悩まされている。 低精度のADCは、このオーバーヘッドを削減できるが、部分的なサム量子化誤差による精度低下をもたらす。 この研究は、重みと部分サム量子化の粒度をカラム単位で整列させることによって、これらの課題に対処する。
  論文  参考訳（メタデータ） (2025-02-11T05:32:14Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• Mixed Precision of Quantization of Transformer Language Models for Speech Recognition [67.95996816744251]
  トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。 現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。 最適局所精度設定は2つの手法を用いて自動的に学習される。 Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
  論文  参考訳（メタデータ） (2021-11-29T09:57:00Z)
• Scalar Coupling Constant Prediction Using Graph Embedding Local Attention Encoder [4.853665900411843]
  スカラーカップリング定数 (SCC) は, 有機物の三次元構造解析において重要な役割を担っている。 SCCを効率的に正確に計算するために,局所自己注意エンコーダ(GELAE)モデルを埋め込んだグラフを提案する。 我々は、異なる構造表現、異なる注意モジュール、異なる損失を用いた一連の比較実験を行った。 グラフが局所的な自己注意を埋め込むと、検証セットにおける予測モデルの平均絶対誤差(MAE)は 0.1603 Hz から 0.1067 Hz に減少する。
  論文  参考訳（メタデータ） (2020-09-07T02:53:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。