論文の概要: Direction-Preserving Number Representations

• arxiv url: http://arxiv.org/abs/2605.07662v1
• Date: Fri, 08 May 2026 12:32:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.041548
• Title: Direction-Preserving Number Representations
• Title（参考訳）: 方向保存数表現
• Authors: Bardia Zadeh, George A. Constantinides,
• Abstract要約: この研究は、ベクトルの方向が与えられた大きさの共通有限アルファベットからスカラー要素を選択することによって表現できる範囲を探索する。 このような製品構造コードの方向性カバレッジを解析するための幾何学的枠組みが導入された。 製品コードクラスでは、2つの補数、固定点、浮動小数点の標準形式が準最適であることが証明されている。
• 参考スコア（独自算出の注目度）: 1.6085365679777965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-precision number formats are widely used in modern machine learning systems due to their efficiency. Accurate direction representation is key to the accuracy of vector operations. This work precisely explores the extent to which the direction of a vector can be represented by selecting its scalar elements from a common finite alphabet of a given size. This is standard practice in machine learning, where low-precision significands may be narrow-width floating-point or integer values. A geometric framework is introduced for analyzing the directional coverage of such product-structured codes. This work analytically quantifies the suboptimality gap between such product-structured codes and spherical codes for the vector as a whole, in both low and asymptotically high dimensions. Furthermore, within the product code class, it is proven that the standard formats of two's complement, fixed-point, and floating-point are suboptimal, again with quantified gap, pointing to the potential to develop new scalar number formats. Such scalar alphabets are numerically optimized across multiple block dimensions for directional coverage, including the dimension used in NVIDIA's NVFP4 format. Experimental results are presented comparing the performance of standard formats and the optimized alphabet. We find that for four bits, NVIDIA's choice of E2M1 closely approximates the optimized alphabet, providing a geometric explanation for its strong performance in low-precision machine learning workloads and an analytical understanding of the link between that superiority and block size. We provide open-source formal proofs in Lean for the theorems in this work, along with the experimental code and the optimized alphabets obtained.
• Abstract（参考訳）: 低精度の数値形式は、その効率性のために現代の機械学習システムで広く使われている。 正確な方向表現はベクトル演算の精度の鍵となる。 この研究は、ベクトルの方向が与えられた大きさの共通有限アルファベットからスカラー要素を選択することによって表現できる範囲を正確に探求する。 これは機械学習における標準的なプラクティスであり、低精度の符号は幅の狭い浮動小数点または整数値である。 このような製品構造コードの方向性カバレッジを解析するための幾何学的枠組みが導入された。 この研究は、そのような積構造符号とベクトル全体の球面符号の間の準最適ギャップを、低次元と漸近的に高次元の両方で解析的に定量化する。 さらに,製品コードクラスでは,2つの補数,固定点,浮動点の標準形式が準最適であり,新たなスカラー数形式を開発する可能性を示している。 このようなスカラーアルファベットは、NVIDIAのNVFP4フォーマットで使用されるディメンションを含む、複数のブロック次元にわたって数値的に最適化されている。 標準形式と最適化アルファベットの性能を比較した実験結果を示す。 4ビットにおいて、NVIDIAのE2M1の選択は最適化アルファベットを近似し、低精度の機械学習ワークロードにおける強力なパフォーマンスの幾何学的説明と、その優越性とブロックサイズの間のリンクの分析的理解を提供する。 この研究において、実験コードと最適化されたアルファベットとともに、この定理に対するオープンソースの公式証明をLeanに提供します。

関連論文リスト

• Re-Densification Meets Cross-Scale Propagation: Real-Time Neural Compression of LiDAR Point Clouds [83.39320394656855]
  LiDARポイントクラウドは、様々なアプリケーションに基本的だが、高精度スキャンは、かなりのストレージと送信オーバーヘッドを発生させる。 既存の手法では、非順序の点を階層的なオクツリーやボクセル構造に変換して、密度から疎い予測符号化を行うのが一般的である。 筆者らのフレームワークは2つの軽量モジュールから構成されている。まず、Geometry Re-Densification Moduleがエンコードされたスパース幾何を再認識し、より密なスケールで特徴を抽出し、予測符号化のための特徴を再分離する。
  論文  参考訳（メタデータ） (2025-08-28T06:36:10Z)
• FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
  低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。 当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
  論文  参考訳（メタデータ） (2025-05-23T14:37:00Z)
• A Coding-Theoretic Analysis of Hyperspherical Prototypical Learning Geometry [25.514947992281378]
  HPL(Hyperspherical Prototypeal Learning)は、単位超球面上のクラスプロトタイプを設計する表現学習における教師ありアプローチである。 これまでのHPLのアプローチには、以下の欠点がある: (i) 予想外の最適化手順に従う; (ii) 理論上は健全であるが、1つの潜在次元にのみ制約される。
  論文  参考訳（メタデータ） (2024-07-10T13:44:19Z)
• Factorizers for Distributed Sparse Block Codes [45.29870215671697]
  分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
  論文  参考訳（メタデータ） (2023-03-24T12:31:48Z)
• Block Format Error Bounds and Optimal Block Size Selection [7.056118133284956]
  ここで最も期待され、急速に進歩しているフロンティアの1つは、新しいデータフォーマットの作成である。 本稿では, 数値演算を用いた内部積の動的範囲, 数値的精度, 効率的なハードウェア実装の組み合わせにより, ブロック浮動小数点数値形式に焦点をあてる。
  論文  参考訳（メタデータ） (2022-10-11T14:15:09Z)
• When Counting Meets HMER: Counting-Aware Network for Handwritten Mathematical Expression Recognition [57.51793420986745]
  我々は、手書き数式認識(HMER)のための非従来型ネットワークであるCounting-Aware Network(CAN)を提案する。 シンボルレベルの位置アノテーションを使わずに各シンボルクラスの数を予測できる弱教師付きカウントモジュールを設計する。 HMERのベンチマークデータセットの実験により、エンコーダ・デコーダモデルの予測誤差を修正するために、共同最適化とカウント結果の両方が有用であることが検証された。
  論文  参考訳（メタデータ） (2022-07-23T08:39:32Z)
• Learning Implicit Feature Alignment Function for Semantic Segmentation [51.36809814890326]
  Implicit Feature Alignment Function (IFA)は、暗黙の神経表現の急速に拡大するトピックにインスパイアされている。 IFAは機能マップを異なるレベルで暗黙的に整列し、任意の解像度でセグメンテーションマップを生成することができることを示す。 提案手法は,様々なアーキテクチャの改善と組み合わせて,一般的なベンチマークにおける最先端の精度のトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-06-17T09:40:14Z)
• Metalearning: Sparse Variable-Structure Automata [0.0]
  本研究では,動的スパース符号ベクトルをフライ時に使用する基底ベクトルの数を増やすメタラーニング手法を提案する。 アクター批判アルゴリズムが展開され、必要な精度のレベルに関する特徴の適切な寸法を自動的に選択する。
  論文  参考訳（メタデータ） (2021-01-30T21:32:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。