論文の概要: Learning Harmonized Representations for Speculative Sampling

• arxiv url: http://arxiv.org/abs/2408.15766v3
• Date: Wed, 26 Feb 2025 11:47:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 15:24:46.020336
• Title: Learning Harmonized Representations for Speculative Sampling
• Title（参考訳）: 投機サンプリングのための調和表現の学習
• Authors: Lefan Zhang, Xiaodan Wang, Yanhua Huang, Ruiwen Xu,
• Abstract要約: 投機的サンプリングは大規模言語モデル(LLM)の復号段階を加速するための有望なアプローチである 我々はこれらの問題に対処するために調和した表現を学習するHArmonized Speculative Smpling (HASS) というソリューションを提案する。 HASSは、調和した客観蒸留と調和したコンテキストアライメントを通じて推論オーバーヘッドを加えることなく、デコードステージを加速する。
• 参考スコア（独自算出の注目度）: 6.053109175707596
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Speculative sampling is a promising approach to accelerate the decoding stage for Large Language Models (LLMs). Recent advancements that leverage target LLM's contextual information, such as hidden states and KV cache, have shown significant practical improvements. However, these approaches suffer from inconsistent context between training and decoding. We also observe another discrepancy between the training and decoding objectives in existing speculative sampling methods. In this work, we propose a solution named HArmonized Speculative Sampling (HASS) that learns harmonized representations to address these issues. HASS accelerates the decoding stage without adding inference overhead through harmonized objective distillation and harmonized context alignment. Experiments on four LLaMA models demonstrate that HASS achieves 2.81x-4.05x wall-clock time speedup ratio averaging across three datasets, surpassing EAGLE-2 by 8%-20%. The code is available at https://github.com/HArmonizedSS/HASS.
• Abstract（参考訳）: 投機的サンプリングは、LLM(Large Language Models)の復号段階を加速するための有望なアプローチである。 隠れ状態やKVキャッシュなど,LLMのコンテキスト情報を活用する最近の進歩は,大幅な実用性を示している。 しかし、これらのアプローチはトレーニングと復号の間の一貫性のないコンテキストに悩まされる。 また,既存の投機的サンプリング手法における学習目標と復号目標の相違も観察した。 本研究では,これらの問題に対処するための調和表現を学習するHArmonized Speculative Smpling (HASS) というソリューションを提案する。 HASSは、調和した客観蒸留と調和したコンテキストアライメントを通じて推論オーバーヘッドを加えることなく、デコードステージを加速する。 4つのLLaMAモデルによる実験により、HASSは3つのデータセットで平均2.81x-4.05xウォールクロックタイムスピードアップ比を達成し、EAGLE-2を8%-20%上回った。 コードはhttps://github.com/HArmonizedSS/HASSで公開されている。

関連論文リスト

• CORAL: Learning Consistent Representations across Multi-step Training with Lighter Speculative Drafter [9.631036588583248]
  投機的復号化は,軽量な投機的ドラフトモデルを活用することで,Large Language Model (LLM)推論を高速化する強力な手法である。 近年の手法では、多段階のトレーニング戦略を採用することでこの問題の解決が試みられているが、異なるトレーニングステップの複雑な入力によって、ドラフトモデルを収束させるのが難しくなっている。 投機的起草における精度と効率を両立させる新しいフレームワークであるCORALを提案する。
  論文  参考訳（メタデータ） (2025-02-24T06:28:26Z)
• Fast-OMRA: Fast Online Motion Resolution Adaptation for Neural B-Frame Coding [5.815424522820603]
  階層的時間予測を持つほとんどの学習されたBフレームコーデックは、トレーニングとテストに使用されるGOP(Group-of-Pictures)サイズの違いによって生じるドメインシフトの問題に悩まされる。 この領域シフト問題を解決する効果的な戦略の1つは、モーション推定のためにビデオフレームをダウンサンプルすることである。 この研究は、ダウンサンプリング係数を決定するための軽量な分類器を導入している。
  論文  参考訳（メタデータ） (2024-10-29T05:57:32Z)
• Optimized Speculative Sampling for GPU Hardware Accelerators [14.681982904792763]
  並列ハードウェアアクセラレータの投機的サンプリングを最適化し,サンプリング速度を向上する。 ワークロードを複数のGPUスレッドに分散し、スレッドブロック内の行列セグメントの同時操作を可能にします。 本手法の有効性を検証するために,音声認識と要約タスクの両方について広範な実験を行った。
  論文  参考訳（メタデータ） (2024-06-16T17:19:23Z)
• Combining X-Vectors and Bayesian Batch Active Learning: Two-Stage Active Learning Pipeline for Speech Recognition [0.0]
  本稿では,自動音声認識(ASR)のための2段階アクティブラーニング(AL)パイプラインを提案する。 第1段階では、ラベルなし音声データから多様なサンプル選択を行うために、xベクトルクラスタリングを用いて教師なしALを利用する。 第2段階には、ASR用に特別に開発されたバッチALメソッドを備えた、教師付きAL戦略が組み込まれている。
  論文  参考訳（メタデータ） (2024-05-03T19:24:41Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• Learning with Noisy Labels Using Collaborative Sample Selection and Contrastive Semi-Supervised Learning [76.00798972439004]
  Collaborative Sample Selection (CSS)は、特定されたクリーンセットからノイズの多いサンプルを削除する。 半教師付き学習において、対照的な損失を伴う協調学習機構を導入する。
  論文  参考訳（メタデータ） (2023-10-24T05:37:20Z)
• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)
• DiffusionVMR: Diffusion Model for Joint Video Moment Retrieval and Highlight Detection [38.12212015133935]
  DiffusionVMRという新しいフレームワークは、2つのタスクを統一された条件記述生成プロセスとして再定義するために提案されている。 5つの広く利用されているベンチマークで実施された実験は、提案されたDiffusionVMRの有効性と柔軟性を示している。
  論文  参考訳（メタデータ） (2023-08-29T08:20:23Z)
• Hyperbolic Audio-visual Zero-shot Learning [47.66672509746274]
  音声・視覚データの解析により多量の双曲性を明らかにし、曲率を考慮した幾何学的学習を実現するために双曲変換を使用することの潜在的な利点を示す。 提案手法では,双曲空間における映像特徴と音声特徴の相互調和を取り入れた新たな損失関数を用いる。
  論文  参考訳（メタデータ） (2023-08-24T04:52:32Z)
• Self-Distilled Masked Auto-Encoders are Efficient Video Anomaly Detectors [117.61449210940955]
  ビデオフレームレベルで適用された軽量マスク付きオートエンコーダ(AE)に基づく効率的な異常事象検出モデルを提案する。 動き勾配に基づく重みトークンへのアプローチを導入し、静的背景シーンから前景オブジェクトへ焦点を移す。 トレーニングビデオの強化のために合成異常事象を生成し,マスク付きAEモデルを用いてオリジナルのフレームを共同で再構築する。
  論文  参考訳（メタデータ） (2023-06-21T06:18:05Z)
• Grad-PU: Arbitrary-Scale Point Cloud Upsampling via Gradient Descent with Learned Distance Functions [77.32043242988738]
  我々は、任意のアップサンプリングレートをサポートする、正確なポイントクラウドアップサンプリングのための新しいフレームワークを提案する。 提案手法は,まず,所定のアップサンプリング率に応じて低解像度の雲を補間する。
  論文  参考訳（メタデータ） (2023-04-24T06:36:35Z)
• On the Theories Behind Hard Negative Sampling for Recommendation [51.64626293229085]
  ハードネガティブサンプリング(HNS)を効果的に活用するための2つの洞察に富んだガイドラインを提供する。 パーソナライズされたランク付け(BPR)学習者におけるHNSの利用は、一方通行部分AUC(OPAUC)の最適化と等価であることを示す。 これらの分析は、初めてトップKレコメンデーションパフォーマンスを最適化するHNSの理論的基盤を確立する。
  論文  参考訳（メタデータ） (2023-02-07T13:57:03Z)
• Off-Policy Reinforcement Learning with Loss Function Weighted by Temporal Difference Error [2.255666468574186]
  政治外の深層学習(RL)によるトレーニングエージェントは、学習に使用される過去の経験を記憶する、リプレイメモリと呼ばれる大きなメモリを必要とする。 損失関数を計算するとき、非政治アルゴリズムは全てのサンプルが同じ重要性を持つと仮定する。 本稿では,学習段階における損失関数を計算する際に,経験ごとに重み付け係数を導入する手法を提案する。
  論文  参考訳（メタデータ） (2022-12-26T14:32:16Z)
• SLICER: Learning universal audio representations using low-resource self-supervised pre-training [53.06337011259031]
  ラベルなし音声データに事前学習エンコーダを組み込むための自己指導型学習手法を提案する。 我々の主な目的は、多種多様な音声および非音声タスクにまたがる一般化が可能な音声表現を学習することである。
  論文  参考訳（メタデータ） (2022-11-02T23:45:33Z)
• Learning Quantization in LDPC Decoders [14.37550972719183]
  均一雑音の付加として量子化効果を模倣する浮動小数点代理モデルを提案する。 次に、深層学習に基づく手法を適用し、メッセージビット幅を最適化する。 平均メッセージ量子化ビット幅3.1ビットにおける浮動小数点復号の0.2dB以内の誤り率性能を報告する。
  論文  参考訳（メタデータ） (2022-08-10T07:07:54Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• DAS: Densely-Anchored Sampling for Deep Metric Learning [43.81322638018864]
  本研究では, アンカー近傍の埋め込み空間を利用してデータポイントのない埋め込みを密に生成するDensely-Anchored Smpling (DAS) 方式を提案する。 提案手法は既存のDMLフレームワークに統合され,ベルやホイッスルを使わずに改善されている。
  論文  参考訳（メタデータ） (2022-07-30T02:07:46Z)
• Narrowing the Gap: Improved Detector Training with Noisy Location Annotations [32.6077497559231]
  本稿では,ノイズの多い位置アノテーションが物体検出手法の性能に与える影響に着目した。 雑音の多い位置アノテーションをよりよく活用するための予測アンサンブルのためのベイズフィルタに基づく自己補正手法を提案する。
  論文  参考訳（メタデータ） (2022-06-12T10:03:01Z)
• Sound and Visual Representation Learning with Multiple Pretraining Tasks [104.11800812671953]
  自己管理タスク(SSL)は、データと異なる特徴を明らかにする。 この作業は、下流のすべてのタスクをうまく一般化する複数のSSLタスク(Multi-SSL)を組み合わせることを目的としている。 音響表現の実験では、SSLタスクのインクリメンタルラーニング(IL)によるマルチSSLが、単一のSSLタスクモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-01-04T09:09:38Z)
• Learning from Multiple Noisy Augmented Data Sets for Better Cross-Lingual Spoken Language Understanding [69.40915115518523]
  トレーニングデータの欠如は、低リソース言語への音声言語理解(SLU)をスケールアウトする上で大きな課題となる。 低リソースターゲット言語でのトレーニングデータを合成するために、様々なデータ拡張手法が提案されている。 本稿では,拡張データにおけるノイズの軽減に焦点をあてる。
  論文  参考訳（メタデータ） (2021-09-03T15:44:15Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。