Fugu-MT 論文翻訳(概要): Late Breaking Results: Quamba-SE: Soft-edge Quantizer for Activations in State Space Models

論文の概要: Late Breaking Results: Quamba-SE: Soft-edge Quantizer for Activations in State Space Models

arxiv url: http://arxiv.org/abs/2601.09451v1
Date: Wed, 14 Jan 2026 12:52:08 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-15 18:59:20.403349
Title: Late Breaking Results: Quamba-SE: Soft-edge Quantizer for Activations in State Space Models
Title（参考訳）: 遅い破壊結果:Quamba-SE:状態空間モデルにおける活性化のためのソフトエッジ量子化器
Abstract要約: Quamba-SEは、ステートスペースモデル活性化量子化のためのソフトエッジ量子化器である。適応的なスケールは3つあり、小さな値の高精度、通常の値の標準スケール、外れ値の低精度である。
参考スコア（独自算出の注目度）: 0.20196229393131726
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose Quamba-SE, a soft-edge quantizer for State Space Model (SSM) activation quantization. Unlike existing methods, using standard INT8 operation, Quamba-SE employs three adaptive scales: high-precision for small values, standard scale for normal values, and low-precision for outliers. This preserves outlier information instead of hard clipping, while maintaining precision for other values. We evaluate on Mamba- 130M across 6 zero-shot benchmarks. Results show that Quamba- SE consistently outperforms Quamba, achieving up to +2.68% on individual benchmarks and up to +0.83% improvement in the average accuracy of 6 datasets.
Abstract（参考訳）: 本研究では,状態空間モデル(SSM)アクティベーション量子化のためのソフトエッジ量子化器であるQuamba-SEを提案する。既存の INT8 操作とは異なり、Quamba-SE では、小さな値の高精度、通常の値の標準スケール、外れ値の低精度の3つの適応スケールを採用している。これは、他の値の精度を維持しながら、ハードクリッピングの代わりに外れ値情報を保存する。 6つのゼロショットベンチマークでMamba-130Mを評価した。結果は、Quamba-SEがQuambaより一貫して優れており、個々のベンチマークで+2.68%、平均6つのデータセットで+0.83%向上していることを示している。

関連論文リスト

M+Adam: Low-Precision Training via Additive-Multiplicative Optimization [69.5989114185868]
量子化された重量のトレーニングはコストを削減できるが、しばしば精度が低下する。本稿では,2つの更新タイプを組み合わせたM+Adamを提案する。 60M-1Bのモデルと1x-8xのチンチラ、BF16、FP8、FP4のマスターウェイトを使用したLLaMA型プレトレーニングでは、M+アダムは一貫して低精度トレーニングを改善している。
論文参考訳（メタデータ） (2026-07-12T07:15:47Z)
An Empirical Study of OpenPangu Quantization on Ascend NPUs [43.29474342134475]
OpenPanguモデルは、プライベートおよび国内における大規模言語モデルのデプロイにとって魅力的なターゲットである。本稿では,Huawei Ascend 910B1 NPUにおけるOpenPangu 1Bおよび7Bモデルの制御実験を行った。
論文参考訳（メタデータ） (2026-06-19T09:33:11Z)
CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
論文参考訳（メタデータ） (2026-06-04T07:27:53Z)
QCalEval: Benchmarking Vision-Language Models for Quantum Calibration Plot Understanding [37.18078731710843]
量子キャリブレーションプロットのための最初のVLMベンチマークであるQCalEvalを紹介する。超伝導量子ビットと中性原子にまたがる22の実験系から87種類のシナリオタイプにまたがる243試料について検討した。最高の汎用ゼロショットモデルは平均スコア72.3に達し、多くのオープンウェイトモデルはマルチイメージのインコンテキスト学習で劣化する。
論文参考訳（メタデータ） (2026-04-28T17:28:33Z)
MambaLiteUNet: Cross-Gated Adaptive Feature Fusion for Robust Skin Lesion Segmentation [15.93793665080762]
MambaLiteUNetは、Mamba状態空間モデリングをU-Netアーキテクチャに統合する、コンパクトで堅牢なセグメンテーションフレームワークである。 MambaLiteUNetは精度と効率のバランスを保ち、皮膚画像セグメンテーションの競争力と実用的なソリューションとなる。
論文参考訳（メタデータ） (2026-04-22T07:33:14Z)
Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文参考訳（メタデータ） (2026-04-20T00:57:31Z)
Choosing the Right Regularizer for Applied ML: Simulation Benchmarks of Popular Scikit-learn Regularization Frameworks [0.1862063702912854]
134,400のシミュレーションで、Rook、Lasso、ElasticNet、Post-Lasso OLSの4つの標準フレームワークのパフォーマンスを実証的に評価した。サンプル/フィール比が十分である場合の予測精度では、Ride、Lasso、ElasticNetはほぼ交換可能である。サンプルサイズが小さいカッパでLassoまたはPost-Lasso OLSの使用を推奨する。
論文参考訳（メタデータ） (2026-04-04T01:33:41Z)
Mamba-3: Improved Sequence Modeling using State Space Principles [74.41028882099846]
線形モデルの状態空間モデル(SSM)の視点に触発された3つの中核的方法論的改善を紹介する。アーキテクチャの改良とともに、Mamba-3モデルは、検索、状態追跡、下流言語モデリングタスク間で大きな進歩を遂げます。
論文参考訳（メタデータ） (2026-03-16T17:30:08Z)
Deep Learning-Based Meat Freshness Detection with Segmentation and OOD-Aware Classification [7.732388903082693]
このフレームワークはパッケージ化されたミートデータセットとアンパッケージされたミートデータセットの両方をサポートしている。このシステムは、4つの非分布(ID)肉クラスを分類し、低信頼をNo ResultとしてフラグするOOD(out-of-distriion)を意識した禁制機構を使用する。
論文参考訳（メタデータ） (2026-02-27T23:14:14Z)
ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
論文参考訳（メタデータ） (2026-01-29T18:35:01Z)
Uncertainty Makes It Stable: Curiosity-Driven Quantized Mixture-of-Experts [6.221156050218661]
本稿では、資源制約のあるデバイス上でのディープニューラルネットワークのための好奇心駆動型量子化混合処理フレームワークを提案する。われわれの4ビット量子化は、16ビットの精度(0.858対0.859 F1)の99.9%を維持し、4倍の圧縮と41%の省エネを実現している。我々の情報理論的ルーティングは、適応量子化が精度(0.858 F1, 1.2M params)、エネルギー効率(3.87 F1/mJ)、予測可能なエッジモデルをもたらすことを示す。
論文参考訳（メタデータ） (2025-11-13T15:32:41Z)
Signal and Noise: A Framework for Reducing Uncertainty in Language Model Evaluation [103.66549325018741]
現在のベンチマークの違いを示す2つの重要な指標を紹介します。より優れた信号対雑音比を持つベンチマークは、小規模で意思決定を行う場合、より信頼性が高いことを示す。結論は、新しいベンチマークを作成する人や、どの既存のベンチマークを使うかを選択する人は、高い信号と低いノイズを目標にすることを推奨する。
論文参考訳（メタデータ） (2025-08-18T17:56:04Z)
eMamba: Efficient Acceleration Framework for Mamba Models in Edge Computing [14.932572899503935]
State Space Model (SSM)ベースの機械学習アーキテクチャは、最近、シーケンシャルデータを処理する上で大きな注目を集めている。 eMambaは、エッジプラットフォームにMambaモデルをデプロイするために特別に設計された、包括的なエンドツーエンドハードウェアアクセラレーションフレームワークである。我々はeMambaが1.63-19.9$times$ lessパラメータを使って最先端技術に匹敵する精度を達成することを示した。
論文参考訳（メタデータ） (2025-08-14T06:08:05Z)
Bayes Error Rate Estimation in Difficult Situations [1.376408511310322]
ベイズ誤り率(英: Bayes Error Rate、BER)は、任意の機械学習モデルの達成可能な一般化可能な分類精度の基本的な限界である。本稿では,モンテカルロシミュレーションと合成データを用いて,その精度を詳細に検討する。その結果、kNNはより正確な非パラメトリック推定器であることがわかった。
論文参考訳（メタデータ） (2025-05-21T19:58:20Z)
MICE for CATs: Model-Internal Confidence Estimation for Calibrating Agents with Tools [54.63478102768333]
十分に校正されたモデル信頼度は、潜在的な行動の報酬に対するリスクを測るために使用することができる。本稿では,ツール呼び出し時の信頼度を評価するために,モデル内信頼度推定器(MICE)の新たなクラスを提案する。
論文参考訳（メタデータ） (2025-04-28T18:06:38Z)
S*: Test Time Scaling for Code Generation [55.11863577956177]
コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。 S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
論文参考訳（メタデータ） (2025-02-20T09:18:53Z)
"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
論文参考訳（メタデータ） (2024-11-04T18:21:59Z)
The Mamba in the Llama: Distilling and Accelerating Hybrid Models [76.64055251296548]
注目層からの線形射影重みを学術的なGPU資源で再利用することにより,大規模な変換器を線形RNNに蒸留する方法を示す。結果として得られたハイブリッドモデルは、チャットベンチマークのオリジナルのTransformerに匹敵するパフォーマンスを達成する。また,Mambaとハイブリッドモデルの推論速度を高速化するハードウェア対応投機的復号アルゴリズムを導入する。
論文参考訳（メタデータ） (2024-08-27T17:56:11Z)
TernaryLLM: Ternarized Large Language Model [29.29122031050894]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて顕著なパフォーマンスを達成した。本稿では、Dual Learnable Ternarization (DLT)を導入し、スケールとシフトの両方を学習可能にする。また、極低ビット量子化で失われた情報を復元するために、OFF(Outlier-Friendly Feature Knowledge Distillation)を提案する。
論文参考訳（メタデータ） (2024-06-11T11:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。