論文の概要: Rediscovering Hashed Random Projections for Efficient Quantization of Contextualized Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2304.02481v2
• Date: Tue, 16 May 2023 05:39:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 18:27:35.046103
• Title: Rediscovering Hashed Random Projections for Efficient Quantization of Contextualized Sentence Embeddings
• Title（参考訳）: 文脈付き文埋め込みの効率的な量子化のためのハッシュランダム投影の再発見
• Authors: Ulf A. Hamster, Ji-Ung Lee, Alexander Geyken, Iryna Gurevych
• Abstract要約: エッジデバイス上でのトレーニングと推論は、しばしば計算上の制限のために効率的なセットアップを必要とする。 データ表現の事前計算とサーバへのキャッシュにより、エッジデバイスの広範な計算が軽減される。 ランダムな超平面射影を用いた単純かつ効果的な手法を提案する。 組込みは, 浮動小数点の94%-99%を保持できる様々な英語およびドイツ語の文分類タスクにおいて, トレーニングモデルに有効であることを示す。
• 参考スコア（独自算出の注目度）: 113.38884267189871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training and inference on edge devices often requires an efficient setup due to computational limitations. While pre-computing data representations and caching them on a server can mitigate extensive edge device computation, this leads to two challenges. First, the amount of storage required on the server that scales linearly with the number of instances. Second, the bandwidth required to send extensively large amounts of data to an edge device. To reduce the memory footprint of pre-computed data representations, we propose a simple, yet effective approach that uses randomly initialized hyperplane projections. To further reduce their size by up to 98.96%, we quantize the resulting floating-point representations into binary vectors. Despite the greatly reduced size, we show that the embeddings remain effective for training models across various English and German sentence classification tasks that retain 94%--99% of their floating-point.
• Abstract（参考訳）: エッジデバイスでのトレーニングと推論は、しばしば計算の制限のために効率的なセットアップを必要とする。 データ表現の事前計算とサーバへのキャッシュは、エッジデバイスの広範な計算を軽減できますが、これは2つの課題をもたらします。 まず、インスタンス数に線形にスケールするサーバに必要なストレージの量。 第二に、大量のデータをエッジデバイスに送るのに必要な帯域幅がある。 予め計算したデータ表現のメモリフットプリントを削減するために,ランダムに初期化された超平面投影を用いた単純かつ効果的な手法を提案する。 さらに98.96%まで小さくするため、結果の浮動小数点表現をバイナリベクトルに量子化する。 サイズが大幅に縮小したにもかかわらず、埋め込みは、浮動小数点の94%--99%を保持する様々な英語およびドイツ語の文分類タスクのトレーニングモデルに有効であることを示す。

関連論文リスト

• Low-Precision Floating-Point for Efficient On-Board Deep Neural Network Processing [0.9374652839580183]
  本研究では,低精度(ミニ)浮動小数点演算と量子化学習法を組み合わせる方法について検討する。 その結果,6ビット浮動小数点量子化は重みとアクティベーションの両方において単一精度と競合できることがわかった。 初期のハードウェア研究は、そのような低精度浮動小数点設計の潜在的影響も確認した。
  論文  参考訳（メタデータ） (2023-11-18T21:36:52Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• MAFAT: Memory-Aware Fusing and Tiling of Neural Networks for Accelerated Edge Inference [1.7894377200944507]
  機械学習ネットワークは、利用可能なメモリを容易に越えることができ、OSの過度なスワップによってレイテンシが増加する。 本稿では,メモリ使用量予測器と探索アルゴリズムを組み合わせることで,最適化されたファジングとタイリングの構成を提供する。 その結果、我々のアプローチはメモリの半分以下で実行でき、メモリの厳しい制約下では最大2.78の高速化を実現している。
  論文  参考訳（メタデータ） (2021-07-14T19:45:49Z)
• An introduction to distributed training of deep neural networks for segmentation tasks with large seismic datasets [0.0]
  本稿では,大規模ニューラルネットワークのトレーニングにおける2つの主な課題,メモリ制限と非現実的なトレーニング時間について述べる。 750GB以上のデータを、トレーニングバッチに必要なデータのみをメモリに格納するデータジェネレータアプローチを用いて、モデルトレーニングにどのように使用できるかを示す。 さらに、入力データ次元4096,4096の7層unetのトレーニングにより、大規模モデルに対する効率的なトレーニングを示す。
  論文  参考訳（メタデータ） (2021-02-25T17:06:00Z)
• Improving compute efficacy frontiers with SliceOut [31.864949424541344]
  SliceOut - 最終テスト精度に影響を与えることなく、ディープラーニングモデルを高速にトレーニングするためのドロップアウトインスパイアされたスキームだ。 テスト時に、SliceOutをオフにすると、テストの正確性を保持する一連のアーキテクチャに暗黙のアンサンブルが実行される。 これにより、大規模な計算ワークロード全体の処理が高速化され、結果として生じるエネルギー消費とCO2エミッションが大幅に削減される。
  論文  参考訳（メタデータ） (2020-07-21T15:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。