論文の概要: Radar: Fast Long-Context Decoding for Any Transformer

• arxiv url: http://arxiv.org/abs/2503.10571v1
• Date: Thu, 13 Mar 2025 17:23:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:51:46.681965
• Title: Radar: Fast Long-Context Decoding for Any Transformer
• Title（参考訳）: Radar: あらゆるトランスフォーマーのための高速な長期デコード
• Authors: Yongchang Hao, Mengyao Zhai, Hossein Hajimirsadeghi, Sepidehsadat Hosseini, Frederick Tung,
• Abstract要約: 我々は、最も重要なコンテキストトークンを動的に検索することで推論を高速化する、トレーニング不要のアプローチであるRadarを提案する。 Radarは、時間の複雑さを減らして、さまざまなアーキテクチャにわたる最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 14.194862061498428
• License:
• Abstract: Transformer models have demonstrated exceptional performance across a wide range of applications. Though forming the foundation of Transformer models, the dot-product attention does not scale well to long-context data since its time requirement grows quadratically with context length. In this work, we propose Radar, a training-free approach that accelerates inference by dynamically searching for the most important context tokens. For any pre-trained Transformer, Radar can reduce the decoding time complexity without training or heuristically evicting tokens. Moreover, we provide theoretical justification for our approach, demonstrating that Radar can reliably identify the most important tokens with high probability. We conduct extensive comparisons with the previous methods on a wide range of tasks. The results demonstrate that Radar achieves the state-of-the-art performance across different architectures with reduced time complexity, offering a practical solution for efficient long-context processing of Transformers.
• Abstract（参考訳）: トランスフォーマーモデルは、広範囲のアプリケーションで例外的な性能を示している。 Transformerモデルの基礎を形成するが、ドット積の注意は、その時間要件がコンテキスト長と2次的に増加するため、長いコンテキストデータに対してうまくスケールしない。 本研究では,最も重要なコンテキストトークンを動的に検索することで推論を高速化する学習自由アプローチであるRadarを提案する。 事前トレーニングされたトランスフォーマーの場合、Radarはトークンをトレーニングやヒューリスティックに排除することなく、デコード時間の複雑さを低減できる。 さらに、我々は、Radarが最も重要なトークンを高い確率で確実に識別できることを証明し、我々のアプローチに対する理論的正当化を提供する。 幅広いタスクにおいて,従来の手法と広範囲に比較する。 その結果、Radarは時間的複雑さを低減し、トランスフォーマーの効率的な長文処理のための実用的なソリューションを提供することで、異なるアーキテクチャにおける最先端のパフォーマンスを実現していることがわかった。

関連論文リスト

• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• From Coarse to Fine: Efficient Training for Audio Spectrogram Transformers [16.90294414874585]
  粗粒化モデルと変圧器モデルとの結合による音声スペクトログラム変換器の多相学習を提案する。 これらの手法の1つを利用することで、トランスフォーマーモデルは初期段階の低解像度(粗い)データから学習し、その後、カリキュラム学習戦略において高解像度のデータで微調整される。
  論文  参考訳（メタデータ） (2024-01-16T14:59:37Z)
• Gaussian Radar Transformer for Semantic Segmentation in Noisy Radar Data [33.457104508061015]
  シーン理解は、将来の状態予測、衝突回避、経路計画を行うために、動的環境における自律ロボットにとって不可欠である。 カメラとLiDARの認識は近年大きく進歩したが、悪天候下では限界に直面した。 マルチモーダルセンサースイートの可能性を最大限に活用するためには、レーダーセンサーは安全上の重要なタスクに不可欠であり、現在ほとんどの新しい車両に導入されている。
  論文  参考訳（メタデータ） (2022-12-07T15:05:03Z)
• RCDPT: Radar-Camera fusion Dense Prediction Transformer [1.5899159309486681]
  本稿では,レーダデータを視覚トランスネットワークに統合するための新しい融合戦略を提案する。 リードアウトトークンを使用する代わりに、レーダー表現は単眼深度推定モデルに追加の深度情報を提供する。 実験は、カメラ画像、ライダー、レーダーデータを含むnuScenesデータセット上で実施されている。
  論文  参考訳（メタデータ） (2022-11-04T13:16:20Z)
• Dynamic Spatial Sparsification for Efficient Vision Transformers and Convolutional Neural Networks [88.77951448313486]
  視覚データにおける空間空間空間性を利用したモデルアクセラレーションのための新しい手法を提案する。 本稿では,冗長トークンを具現化する動的トークンスペーシフィケーションフレームワークを提案する。 提案手法は,CNNや階層型視覚変換器などの階層モデルに拡張する。
  論文  参考訳（メタデータ） (2022-07-04T17:00:51Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• TCTN: A 3D-Temporal Convolutional Transformer Network for Spatiotemporal Predictive Learning [1.952097552284465]
  本稿では3次元時間畳み込み変換器 (TCTN) というアルゴリズムを提案する。 提案アルゴリズムは,Transformerの並列機構により,RNNベースの手法に比べて,実装や訓練が容易である。
  論文  参考訳（メタデータ） (2021-12-02T10:05:01Z)
• Attention-based Dual-stream Vision Transformer for Radar Gait Recognition [24.90100456414406]
  レーダー歩行認識は、光の変動に頑丈で、プライバシーに対する侵害も少ない。 本研究では、注意に基づく融合を伴う2重ストリームニューラルネットワークを提案し、識別情報を完全集約する。 提案手法は,レーダ歩行認識のための大規模なベンチマークデータセット上で検証され,最先端のソリューションよりも著しく優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-24T06:16:53Z)
• Evo-ViT: Slow-Fast Token Evolution for Dynamic Vision Transformer [63.99222215387881]
  本稿では,視覚変換器の自己モチベーションの遅いトークン進化手法であるEvo-ViTを提案する。 本手法は,画像分類において同等の性能を維持しつつ,視覚変換器の計算コストを大幅に削減することができる。
  論文  参考訳（メタデータ） (2021-08-03T09:56:07Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing [112.2208052057002]
  本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。 Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
  論文  参考訳（メタデータ） (2020-06-05T05:16:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。