論文の概要: A Streaming Approach For Efficient Batched Beam Search

• arxiv url: http://arxiv.org/abs/2010.02164v3
• Date: Sun, 15 Aug 2021 18:42:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 20:03:16.989119
• Title: A Streaming Approach For Efficient Batched Beam Search
• Title（参考訳）: 効率的なバッチビーム探索のためのストリーミング手法
• Authors: Kevin Yang, Violet Yao, John DeNero, Dan Klein
• Abstract要約: 本稿では,GPUアーキテクチャ上での可変長復号法を提案する。 本手法を最先端機械翻訳モデルを用いた可変幅ビーム探索に適用する。 実験により,本手法は意味解析や構文解析など,他の領域での復号化を高速化できることが示された。
• 参考スコア（独自算出の注目度）: 39.38795046840353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an efficient batching strategy for variable-length decoding on GPU architectures. During decoding, when candidates terminate or are pruned according to heuristics, our streaming approach periodically "refills" the batch before proceeding with a selected subset of candidates. We apply our method to variable-width beam search on a state-of-the-art machine translation model. Our method decreases runtime by up to 71% compared to a fixed-width beam search baseline and 17% compared to a variable-width baseline, while matching baselines' BLEU. Finally, experiments show that our method can speed up decoding in other domains, such as semantic and syntactic parsing.
• Abstract（参考訳）: 本稿では,gpuアーキテクチャにおける可変長復号化のための効率的なバッチ戦略を提案する。 デコード中に、候補が終了またはヒューリスティックスに従ってプルーンされるとき、当社のストリーミングアプローチは、選択された候補のサブセットに進む前に、定期的にバッチをリフィルします。 本手法を最先端機械翻訳モデルを用いた可変幅ビーム探索に適用する。 本手法は,ベースラインのbleuと一致しながら,固定幅ビーム探索ベースラインと比較して最大71%,可変幅ベースラインと比較して17%のランタイムを減少させる。 最後に,本手法が意味解析や構文解析など他の領域でのデコーディングを高速化できることを示す。

関連論文リスト

• HashPoint: Accelerated Point Searching and Sampling for Neural Rendering [9.418401219498223]
  レンダリングとレイトレーシングの2つの典型的なアプローチが採用されている。 ボリューム化ベースの手法は、メモリの増大と忠実度低下を犠牲にしてリアルタイムレンダリングを可能にする。 対照的に、レイトレーシングに基づく手法は優れた品質を得るが、より長い時間を要求する。 我々はこの2つの戦略を組み合わせたHashPoint法によりこの問題を解決する。
  論文  参考訳（メタデータ） (2024-04-22T09:57:53Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• A Token-Wise Beam Search Algorithm for RNN-T [3.682821163882332]
  本稿では,複数の時間ステップにまたがる共同ネットワークコールをバッチ化する復号ビーム探索アルゴリズムを提案する。 さらに、セグメント上での放射確率の集約は、最も可能性の高いモデル出力を見つけるためのより良い近似と見なすことができる。
  論文  参考訳（メタデータ） (2023-02-28T07:20:49Z)
• A Call for Clarity in Beam Search: How It Works and When It Stops [125.55175954381991]
  我々は、このビーム復号化実装の簡単な修正である忍耐係数を導入し、停止基準を一般化し、探索深度に柔軟性を提供する。 実験結果から,この忍耐率の調整は,ニューステキスト要約および多言語対における機械翻訳において,強い事前学習されたモデルの復号性能を向上させることが示された。
  論文  参考訳（メタデータ） (2022-04-11T22:03:44Z)
• Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
  オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。 SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。 本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。 ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
  論文  参考訳（メタデータ） (2021-09-13T18:10:52Z)
• TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval [103.85002875155551]
  本研究では,大規模言語前訓練を利用した一般化蒸留法TeachTextを提案する。 提案手法をビデオ側モダリティに拡張し,テスト時に使用するモダリティの数を効果的に削減できることを示す。 提案手法は,いくつかのビデオ検索ベンチマークの精度を著しく向上させ,テスト時の計算オーバーヘッドを増加させない。
  論文  参考訳（メタデータ） (2021-04-16T17:55:28Z)
• Best-First Beam Search [78.71330480725668]
  本研究では,ビームサーチの標準実装を10倍高速に実現可能であることを示す。 ダウンストリーム性能の面でも同様に有益な探索バイアスを有するBest-First Beam Searchのメモリ再生版を提案する。
  論文  参考訳（メタデータ） (2020-07-08T05:56:01Z)
• Ranking and benchmarking framework for sampling algorithms on synthetic data streams [0.0]
  ビッグデータ、AI、ストリーミング処理では、複数のソースから大量のデータを処理します。 メモリとネットワークの制限のため、分散システム上のデータストリームを処理し、計算とネットワークの負荷を軽減する。 概念のドリフトに反応するアルゴリズムを提供し、我々のフレームワークを用いた最先端のアルゴリズムと比較する。
  論文  参考訳（メタデータ） (2020-06-17T14:25:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。