Fugu-MT 論文翻訳(概要): With Shared Microexponents, A Little Shifting Goes a Long Way

論文の概要: With Shared Microexponents, A Little Shifting Goes a Long Way

arxiv url: http://arxiv.org/abs/2302.08007v2
Date: Thu, 13 Apr 2023 02:31:29 GMT
ステータス: 翻訳完了
システム内更新日: 2023-04-14 17:05:13.695685
Title: With Shared Microexponents, A Little Shifting Goes a Long Way
Title（参考訳）: マイクロファンが共有する小さなシフトが長い道のりを歩む
Abstract要約: Block Data Representations (BDR) は、ディープラーニングのための幅の狭いフォーマットを探索し、評価するためのフレームワークである。共有マイクロエクスポネント(MX)に基づく新しいフォーマットが同定され、他の最先端の量子化手法よりも優れている。
参考スコア（独自算出の注目度）: 5.535209406979682
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper introduces Block Data Representations (BDR), a framework for exploring and evaluating a wide spectrum of narrow-precision formats for deep learning. It enables comparison of popular quantization standards, and through BDR, new formats based on shared microexponents (MX) are identified, which outperform other state-of-the-art quantization approaches, including narrow-precision floating-point and block floating-point. MX utilizes multiple levels of quantization scaling with ultra-fine scaling factors based on shared microexponents in the hardware. The effectiveness of MX is demonstrated on real-world models including large-scale generative pretraining and inferencing, and production-scale recommendation systems.
Abstract（参考訳）: 本稿では,ブロックデータ表現(bdr, block data representations)について述べる。一般的な量子化標準の比較が可能であり、bdrにより、狭い精度の浮動小数点やブロック浮動小数点など、最先端の量子化アプローチに勝る共有マイクロ指数(mx)に基づく新しいフォーマットが特定される。 mxは、ハードウェア内の共有マイクロエクスペンデントに基づく超微細なスケーリング係数と、複数のレベルの量子化スケーリングを利用する。 mxの有効性を実世界モデルで実証し, 大規模生成前訓練, 参照システム, 生産レコメンデーションシステムなどについて検討した。

関連論文リスト

Quantum Incremental Learning with Mixed State Prototypes [53.319426778720434]
トレーニング可能な混合状態プロトタイプに基づく新しい量子インクリメンタル学習フレームワークを提案する。本モデルでは,最小数の量子ビットを用いて高次元特徴量を実現する。
論文参考訳（メタデータ） (2026-08-11T04:22:42Z)
MODE: Modality-Decomposed Expert-Level Mixed-Precision Quantization for MoE Multimodal LLMs [33.85005996775957]
我々は,MoE-MLLMのためのモダリティ分解型エキスパートレベル混合精度量子化フレームワークMODEを提案する。 MODEは特にMoE-MLLMに適しており、平均的な性能損失はW3A16で2.9%に制限され、極端な2ビット設定ではより大きく向上した。
論文参考訳（メタデータ） (2026-06-15T10:59:11Z)
Statistical Channel Fingerprint Construction for Massive MIMO: A Unified Tensor Learning Framework [51.39651336043647]
チャネル指紋(CF)は、IMO通信システムにおけるチャネル状態情報の取得を容易にする重要な手段であると考えられている。統計的CSI(sCSI)を各電位で保存する新しいタイプのCFを提案し,これを統計的CF(sCF)と呼ぶ。
論文参考訳（メタデータ） (2026-04-30T08:28:45Z)
BATQuant: Outlier-resilient MXFP4 Quantization via Learnable Block-wise Optimization [34.40883652676667]
MXFP4に適用した場合, 評価後量子化法は深刻な性能低下に悩まされる。本稿では,MXFPと整合する変換を制限するBATQuantを提案する。我々は、BATQuantが攻撃的なW4A4KV16構成の下で、最先端の新たな結果を確立することを示す。
論文参考訳（メタデータ） (2026-03-17T14:37:08Z)
Deriving Hyperparameter Scaling Laws via Modern Optimization Theory [55.63126290312615]
線形最小化Oracle(LMO)に基づく手法の最近の一階境界について検討する。近年の文献のバウンダリをプロキシとして扱い、異なるチューニング規則をまたいでそれらを最小化することで、学習率、運動量、バッチサイズに関するクローズドフォームのパワーロースケジュールが得られる。本研究の結果は, 運動量とバッチサイズスケーリングの相互作用に特に注意を払っており, いくつかのスケーリング戦略によって最適性能が達成される可能性が示唆された。
論文参考訳（メタデータ） (2026-03-16T22:21:27Z)
LATMiX: Learnable Affine Transformations for Microscaling Quantization of LLMs [11.773543873657752]
可逆変換をアクティベーションに適用することで、量子化を大幅に改善することができる。現代のハードウェアは、マイクロスケーリング(MX)データフォーマットをますますサポートしている。学習可能な非可逆アフィン変換への外乱還元を一般化する手法である LATMiX を提案する。
論文参考訳（メタデータ） (2026-02-04T15:32:27Z)
Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。我々は最先端のPTQ手法を実装し、包括的な評価を行う。
論文参考訳（メタデータ） (2025-08-20T17:59:51Z)
MoLAE: Mixture of Latent Experts for Parameter-Efficient Language Models [10.623996218106564]
Mixture of Experts (MoE)は、Large Language Models (LLM)を効率的にスケーリングするための重要なアーキテクチャパラダイムとなっている。我々は、共有射影を通して専門家の操作を低次元の潜在空間に変換する新しいパラメータ化であるMoLAEを導入し、それに続いて専門家固有の変換を行う。モデル性能を保ちながら,MoLAEは複数の次元にわたる効率を著しく向上することを示す。
論文参考訳（メタデータ） (2025-03-29T14:35:34Z)
Nanoscaling Floating-Point (NxFP): NanoMantissa, Adaptive Microexponents, and Code Recycling for Direct-Cast Compression of Large Language Models [5.680646377552021]
ナノスケーリング(NxFP)は、最先端のMxFPよりも精度とメモリフットプリントを向上する3つの手法を提案する。 NxFPはメモリフットプリントを最大16%削減し、MxFPと同等のパープレキシティを実現する。
論文参考訳（メタデータ） (2024-12-15T22:18:20Z)
MicroScopiQ: Accelerating Foundational Models through Outlier-Aware Microscaling Quantization [6.456189487006878]
基本モデル(FM)の量子化は、外れ値と呼ばれる大規模な特徴の出現によって困難である。既存のoutlier-awareアルゴリズム/アーキテクチャの共同設計技術は、混合精度を使用し、outlierを高い精度で保持するが、ハードウェア効率を損なうか、同じ精度でinlierとoutlierを定量化する。我々は、プルーニングを利用して外れ値認識量子化を補完する新しい共同設計手法MicroScopiQを提案する。
論文参考訳（メタデータ） (2024-11-08T02:25:45Z)
Mixture-of-Noises Enhanced Forgery-Aware Predictor for Multi-Face Manipulation Detection and Localization [52.87635234206178]
本稿では,多面的操作検出と局所化に適したMoNFAPという新しいフレームワークを提案する。このフレームワークには2つの新しいモジュールが含まれている: Forgery-aware Unified Predictor (FUP) Module と Mixture-of-Noises Module (MNM)。
論文参考訳（メタデータ） (2024-08-05T08:35:59Z)
DA-Flow: Dual Attention Normalizing Flow for Skeleton-based Video Anomaly Detection [52.74152717667157]
本稿では,DAM(Dual Attention Module)と呼ばれる軽量モジュールを提案する。フレームアテンション機構を使用して、最も重要なフレームを識別し、スケルトンアテンション機構を使用して、最小パラメータとフロップで固定されたパーティション間の広範な関係をキャプチャする。
論文参考訳（メタデータ） (2024-06-05T06:18:03Z)
Computing Low-Entropy Couplings for Large-Support Distributions [53.00113867130712]
最小エントロピー結合は因果関係やステガノグラフィーなどの分野で応用されている。既存のアルゴリズムは、大容量の分布に対して計算的に抽出可能であるか、特定の分布タイプに限定されている。この研究は、事前の反復MECアプローチを一般化されたパーティションベースの形式主義に統一することにより、これらの制限に対処する。
論文参考訳（メタデータ） (2024-05-29T21:54:51Z)
Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
論文参考訳（メタデータ） (2021-12-13T08:58:03Z)
Machine Learning-enhanced Receive Processing for MU-MIMO OFDM Systems [15.423422040627331]
機械学習は、マルチユーザマルチインプットマルチアウトプット(MU-MIMO)受信処理を改善するために使用できる。本稿では,従来の受信機の利点を保ちつつ,特定の部品をMLコンポーネントで強化する新たな戦略を提案する。
論文参考訳（メタデータ） (2021-06-30T14:02:27Z)
Machine Learning for Model Order Selection in MIMO OFDM Systems [19.0581196881206]
無線チャネルを構成するマルチパスコンポーネント(MPC)の数を決定する機械学習(ML)手法を提案する。その結果,提案手法は信頼性が向上していることがわかった。
論文参考訳（メタデータ） (2021-06-22T09:42:15Z)
Learning from eXtreme Bandit Feedback [105.0383130431503]
非常に大きな行動空間の設定における帯域幅フィードバックからのバッチ学習の問題について検討する。本稿では,より有利なバイアス分散状態で動作する選択的重要度サンプリング推定器(sIS)を提案する。我々は,この推定器を,XMCタスクの帯域幅フィードバックから学習するために,新しいアルゴリズム手法であるポリシ・オプティマイズ・フォー・エクストリーム・モデル (POXM) に採用する。
論文参考訳（メタデータ） (2020-09-27T20:47:25Z)
MSP: An FPGA-Specific Mixed-Scheme, Multi-Precision Deep Neural Network Quantization Framework [39.43144643349916]
本稿では,ディープラーニングエッジコンピューティングのハードウェアプラットフォームとして一般的に使用されているFPGAデバイスを対象としている。線形数と非線形数の両方を量子化に組み込んだ混合スキームDNN量子化法を提案する。我々は,層間次元に沿って複数の精度をサポートする量子化法を用い,既存の量子化法は層間次元に沿って多重精度の量子化を適用する。
論文参考訳（メタデータ） (2020-09-16T04:24:18Z)
Scaling Bayesian inference of mixed multinomial logit models to very large datasets [9.442139459221785]
本稿では,バックプロパゲーション,自動微分,GPU加速計算を活用するアモルティファイド変分推論手法を提案する。本研究では, 後部近似の柔軟性を高めるために, フローの正規化がいかに有効かを示す。
論文参考訳（メタデータ） (2020-04-11T15:30:47Z)
Predicting the Popularity of Micro-videos with Multimodal Variational Encoder-Decoder Framework [54.194340961353944]
マイクロビデオ人気タスクのためのマルチモーダル変分エンコーダ・デコーダフレームワークを提案する。 MMVEDは、その人気レベルに情報を与えるマイクロビデオの埋め込みを学習する。 Xiguaから収集した公開データセットとデータセットで実施された実験は、提案したMMVEDフレームワークの有効性を実証する。
論文参考訳（メタデータ） (2020-03-28T06:08:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。