論文の概要: Precision As You Need: Stochastic Computing Is a Dense Adaptive Quantizer

• arxiv url: http://arxiv.org/abs/2609.32922v1
• Date: Sat, 26 Sep 2026 20:24:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:56:45.082091
• Title: Precision As You Need: Stochastic Computing Is a Dense Adaptive Quantizer
• Title（参考訳）: 精度:確率計算は高密度適応量子化器
• Abstract要約: SC行列乗算を大規模にエミュレートするGPUライブラリを構築した。 本研究では,トークン単位のストリーム長やグループ一致の平均予算を割り当て,再トレーニングを必要とせず,スケジュール毎に同じSCハードウェアを使用する動的混合精度ポリシを開発する。 これらの結果は、SCが現代の視覚変換器の微粒化混合精度推定のための密度精度基板として機能することを示すソフトウェアレベルの実現可能性を示す。
• 参考スコア（独自算出の注目度）: 2.7612366227618903
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Matrix multiplications dominate the inference cost of modern transformer-based vision models, yet existing efficiency techniques such as post-training quantization and mixed-precision inference are largely limited to the small set of fixed-width formats (INT4, INT8, BF16, and FP16) supported by conventional accelerators. We revisit stochastic computing (SC) as a way to lift this constraint: viewed as a dense adaptive quantizer, SC controls precision by bit-stream length L rather than a fixed datapath, while each multiplication reduces to a single AND/XNOR gate. We build a GPU library that emulates SC matrix multiplication at scale, exposes stream lengths as first-class kernel arguments, and evaluates SC end-to-end on image classification, object detection and instance segmentation, class-conditional image generation, and visual world-model planning. On top of this substrate, we develop a dynamic per-row mixed-precision policy that assigns stream length per token or group at matched average budget, requires no retraining, and uses the same SC hardware across schedules. Across tasks, SC remains competitive with fixed-format INT quantization at matched bit budgets, while per-row mixed precision helps maintain accuracy at lower average stream lengths. These results provide software-level feasibility evidence that SC can serve as a dense-precision substrate for fine-grained mixed-precision inference on modern vision transformers.
• Abstract（参考訳）: 行列乗算は、現代のトランスフォーマーベースの視覚モデルの推論コストを支配しているが、ポストトレーニング量子化や混合精度推論のような既存の効率技術は、従来の加速器がサポートする固定幅フォーマット(INT4, INT8, BF16, FP16)の小さなセットに限られている。 SCは、固定データパスではなくビットストリーム長Lによる精度を制御し、各乗算は単一のAND/XNORゲートに還元する。 我々は,SC行列の大規模乗算をエミュレートし,ストリーム長を第1級カーネル引数として公開するGPUライブラリを構築し,画像分類,オブジェクト検出とインスタンスセグメント化,クラス条件の画像生成,ビジュアルワールドモデル計画について,SCをエンドツーエンドに評価する。 この基板上には,トークン単位のストリーム長を割り当てたり,一致した平均予算でグループ単位のストリーム長を割り当てたり,再トレーニングを必要とせず,スケジュール毎に同じSCハードウェアを使用する動的混合精度ポリシが開発されている。 タスク全体にわたって、SCは一致したビット予算での固定形式INT量子化と競合し続け、一方、バラごとの混合精度は平均ストリーム長の低い精度を維持するのに役立つ。 これらの結果は、SCが現代の視覚変換器の微粒化混合精度推定のための密度精度基板として機能することを示すソフトウェアレベルの実現可能性を示す。

関連論文リスト

• Thinking in Scales: Accelerating Gigapixel Pathology Image Analysis via Adaptive Continuous Reasoning [52.41928980786654]
  スライド画像全体に対してトークン効率のよいスケール空間連続推論を可能にするPathCTMを提案する。 PathCTMは診断推論を動的逐次情報追跡として定式化する。 必要な画像パッチの数を95.95%削減し、推論時間を約95.62%短縮し、AUCを劣化せずに維持する。
  論文  参考訳（メタデータ） (2026-05-19T07:46:44Z)
• A KL Lens on Quantization: Fast, Forward-Only Sensitivity for Mixed-Precision SSM-Transformer Models [9.31160191200499]
  エッジデバイス上の大規模言語モデル(LLM)は、計算とメモリの厳しい制約に直面している。 量子化誘起劣化に最も敏感なハイブリッドSSM-トランスフォーマーコンポーネントを同定するための,軽量でバックプロパゲーションフリーなサロゲート型感度分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-15T03:40:30Z)
• SFMP: Fine-Grained, Hardware-Friendly and Search-Free Mixed-Precision Quantization for Large Language Models [4.269807933198402]
  混合精度量子化(Mixed-precision Quantization)は、強いメモリ予算の下で大きな言語モデルを圧縮するための有望なアプローチである。 本研究では,大規模言語モデルを対象とした検索自由かつハードウェアフレンドリな混合精度量子化フレームワークであるSFMPを提案する。
  論文  参考訳（メタデータ） (2026-02-01T05:24:19Z)
• Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
  本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。 提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
  論文  参考訳（メタデータ） (2025-10-23T20:19:48Z)
• I-Segmenter: Integer-Only Vision Transformer for Efficient Semantic Segmentation [0.0]
  量子化は効率を改善するための効果的な戦略を提供するが、ViTベースのセグメンテーションモデルは低い精度で脆弱である。 I-Segmenterは完全整数のみのViTセグメンテーションフレームワークである。 I-セグメンタは、シングルキャリブレーション画像のワンショットPTQにおいても、競合精度を達成する。
  論文  参考訳（メタデータ） (2025-09-12T15:14:19Z)
• Mixed-Precision Quantization for Deep Vision Models with Integer Quadratic Programming [7.0146264551420066]
  量子化はニューラルネットワークを圧縮する技術として広く使われている。 MPQは、様々なビット幅をレイヤに割り当て、精度と効率のトレードオフを最適化することで、この問題に対処する。 我々は、量子化誤差の層間依存性をキャプチャする実用的な感度に基づくMPQアルゴリズムであるCLADOを紹介する。
  論文  参考訳（メタデータ） (2023-07-11T15:56:00Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)
• AMED: Automatic Mixed-Precision Quantization for Edge Devices [3.5223695602582614]
  量子ニューラルネットワークは、レイテンシ、消費電力、モデルサイズをパフォーマンスに大きな影響を与えずに減少させることでよく知られている。 混合精度量子化は、異なるビット幅での算術演算をサポートするカスタマイズされたハードウェアのより良い利用を提供する。
  論文  参考訳（メタデータ） (2022-05-30T21:23:22Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Scalable Visual Transformers with Hierarchical Pooling [61.05787583247392]
  本稿では,視覚的トークンを徐々にプールしてシーケンス長を縮小する階層的ビジュアルトランスフォーマ(hvt)を提案する。 計算の複雑さを増すことなく、深さ/幅/解像度/パッチサイズの寸法をスケールすることで、大きなメリットをもたらします。 当社のHVTはImageNetとCIFAR-100データセットの競合ベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-03-19T03:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。