論文の概要: With Shared Microexponents, A Little Shifting Goes a Long Way

• arxiv url: http://arxiv.org/abs/2302.08007v2
• Date: Thu, 13 Apr 2023 02:31:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 17:05:13.695685
• Title: With Shared Microexponents, A Little Shifting Goes a Long Way
• Title（参考訳）: マイクロファンが共有する小さなシフトが長い道のりを歩む
• Authors: Bita Rouhani, Ritchie Zhao, Venmugil Elango, Rasoul Shafipour, Mathew Hall, Maral Mesmakhosroshahi, Ankit More, Levi Melnick, Maximilian Golub, Girish Varatkar, Lei Shao, Gaurav Kolhe, Dimitry Melts, Jasmine Klar, Renee L'Heureux, Matt Perry, Doug Burger, Eric Chung, Zhaoxia Deng, Sam Naghshineh, Jongsoo Park, Maxim Naumov
• Abstract要約: Block Data Representations (BDR) は、ディープラーニングのための幅の狭いフォーマットを探索し、評価するためのフレームワークである。 共有マイクロエクスポネント(MX)に基づく新しいフォーマットが同定され、他の最先端の量子化手法よりも優れている。
• 参考スコア（独自算出の注目度）: 5.535209406979682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces Block Data Representations (BDR), a framework for exploring and evaluating a wide spectrum of narrow-precision formats for deep learning. It enables comparison of popular quantization standards, and through BDR, new formats based on shared microexponents (MX) are identified, which outperform other state-of-the-art quantization approaches, including narrow-precision floating-point and block floating-point. MX utilizes multiple levels of quantization scaling with ultra-fine scaling factors based on shared microexponents in the hardware. The effectiveness of MX is demonstrated on real-world models including large-scale generative pretraining and inferencing, and production-scale recommendation systems.
• Abstract（参考訳）: 本稿では,ブロックデータ表現(bdr, block data representations)について述べる。 一般的な量子化標準の比較が可能であり、bdrにより、狭い精度の浮動小数点やブロック浮動小数点など、最先端の量子化アプローチに勝る共有マイクロ指数(mx)に基づく新しいフォーマットが特定される。 mxは、ハードウェア内の共有マイクロエクスペンデントに基づく超微細なスケーリング係数と、複数のレベルの量子化スケーリングを利用する。 mxの有効性を実世界モデルで実証し, 大規模生成前訓練, 参照システム, 生産レコメンデーションシステムなどについて検討した。

関連論文リスト

• MicroScopiQ: Accelerating Foundational Models through Outlier-Aware Microscaling Quantization [6.456189487006878]
  基本モデル(FM)の量子化は、外れ値と呼ばれる大規模な特徴の出現によって困難である。 既存のoutlier-awareアルゴリズム/アーキテクチャの共同設計技術は、混合精度を使用し、outlierを高い精度で保持するが、ハードウェア効率を損なうか、同じ精度でinlierとoutlierを定量化する。 我々は、プルーニングを利用して外れ値認識量子化を補完する新しい共同設計手法MicroScopiQを提案する。
  論文  参考訳（メタデータ） (2024-11-08T02:25:45Z)
• Mixture-of-Noises Enhanced Forgery-Aware Predictor for Multi-Face Manipulation Detection and Localization [52.87635234206178]
  本稿では,多面的操作検出と局所化に適したMoNFAPという新しいフレームワークを提案する。 このフレームワークには2つの新しいモジュールが含まれている: Forgery-aware Unified Predictor (FUP) Module と Mixture-of-Noises Module (MNM)。
  論文  参考訳（メタデータ） (2024-08-05T08:35:59Z)
• DA-Flow: Dual Attention Normalizing Flow for Skeleton-based Video Anomaly Detection [52.74152717667157]
  本稿では,DAM(Dual Attention Module)と呼ばれる軽量モジュールを提案する。 フレームアテンション機構を使用して、最も重要なフレームを識別し、スケルトンアテンション機構を使用して、最小パラメータとフロップで固定されたパーティション間の広範な関係をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-05T06:18:03Z)
• Computing Low-Entropy Couplings for Large-Support Distributions [53.00113867130712]
  最小エントロピー結合は因果関係やステガノグラフィーなどの分野で応用されている。 既存のアルゴリズムは、大容量の分布に対して計算的に抽出可能であるか、特定の分布タイプに限定されている。 この研究は、事前の反復MECアプローチを一般化されたパーティションベースの形式主義に統一することにより、これらの制限に対処する。
  論文  参考訳（メタデータ） (2024-05-29T21:54:51Z)
• Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
  我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。 モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。 提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-12-13T08:58:03Z)
• Machine Learning-enhanced Receive Processing for MU-MIMO OFDM Systems [15.423422040627331]
  機械学習は、マルチユーザマルチインプットマルチアウトプット(MU-MIMO)受信処理を改善するために使用できる。 本稿では,従来の受信機の利点を保ちつつ,特定の部品をMLコンポーネントで強化する新たな戦略を提案する。
  論文  参考訳（メタデータ） (2021-06-30T14:02:27Z)
• Machine Learning for Model Order Selection in MIMO OFDM Systems [19.0581196881206]
  無線チャネルを構成するマルチパスコンポーネント(MPC)の数を決定する機械学習(ML)手法を提案する。 その結果,提案手法は信頼性が向上していることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T09:42:15Z)
• Learning from eXtreme Bandit Feedback [105.0383130431503]
  非常に大きな行動空間の設定における帯域幅フィードバックからのバッチ学習の問題について検討する。 本稿では,より有利なバイアス分散状態で動作する選択的重要度サンプリング推定器(sIS)を提案する。 我々は,この推定器を,XMCタスクの帯域幅フィードバックから学習するために,新しいアルゴリズム手法であるポリシ・オプティマイズ・フォー・エクストリーム・モデル (POXM) に採用する。
  論文  参考訳（メタデータ） (2020-09-27T20:47:25Z)
• MSP: An FPGA-Specific Mixed-Scheme, Multi-Precision Deep Neural Network Quantization Framework [39.43144643349916]
  本稿では,ディープラーニングエッジコンピューティングのハードウェアプラットフォームとして一般的に使用されているFPGAデバイスを対象としている。 線形数と非線形数の両方を量子化に組み込んだ混合スキームDNN量子化法を提案する。 我々は,層間次元に沿って複数の精度をサポートする量子化法を用い,既存の量子化法は層間次元に沿って多重精度の量子化を適用する。
  論文  参考訳（メタデータ） (2020-09-16T04:24:18Z)
• Scaling Bayesian inference of mixed multinomial logit models to very large datasets [9.442139459221785]
  本稿では,バックプロパゲーション,自動微分,GPU加速計算を活用するアモルティファイド変分推論手法を提案する。 本研究では, 後部近似の柔軟性を高めるために, フローの正規化がいかに有効かを示す。
  論文  参考訳（メタデータ） (2020-04-11T15:30:47Z)
• Predicting the Popularity of Micro-videos with Multimodal Variational Encoder-Decoder Framework [54.194340961353944]
  マイクロビデオ人気タスクのためのマルチモーダル変分エンコーダ・デコーダフレームワークを提案する。 MMVEDは、その人気レベルに情報を与えるマイクロビデオの埋め込みを学習する。 Xiguaから収集した公開データセットとデータセットで実施された実験は、提案したMMVEDフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2020-03-28T06:08:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。