論文の概要: Focus Your Attention (with Adaptive IIR Filters)

• arxiv url: http://arxiv.org/abs/2305.14952v1
• Date: Wed, 24 May 2023 09:42:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 17:35:26.940834
• Title: Focus Your Attention (with Adaptive IIR Filters)
• Title（参考訳）: 注意を集中する(適応型IIRフィルタで)
• Authors: Shahar Lutati, Itamar Zimerman, Lior Wolf
• Abstract要約: 本稿では2次インパルス応答(IIR)フィルタを用いて入力シーケンスを動的に処理する新しい層を提案する。 比較的低次であるにもかかわらず、因果適応フィルタは関連する配列要素に注目することが示されている。
• 参考スコア（独自算出の注目度）: 82.71859911016719
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new layer in which dynamic (i.e.,input-dependent) Infinite Impulse Response (IIR) filters of order two are used to process the input sequence prior to applying conventional attention. The input is split into chunks, and the coefficients of these filters are determined based on previous chunks to maintain causality. Despite their relatively low order, the causal adaptive filters are shown to focus attention on the relevant sequence elements. The layer performs on-par with state of the art networks, with a fraction of the parameters and with time complexity that is sub-quadratic with input size. The obtained layer is favorable to layers such as Heyna, GPT2, and Mega, both with respect to the number of parameters and the obtained level of performance on multiple long-range sequence problems.
• Abstract（参考訳）: 本稿では,2次インパルス応答(iir)フィルタを用いて,従来の注意を払拭する前に入力シーケンスを処理できる新しい層を提案する。 入力はチャンクに分割され、これらのフィルタの係数は、因果性を維持するために以前のチャンクに基づいて決定される。 比較的低い順序であるにもかかわらず、因果適応フィルタは関連する配列要素に注意を向けるように示される。 レイヤは、パラメータのごく一部と入力サイズのサブクワッドラティックな時間的複雑さで、アートネットワークの状態と一致して実行される。 得られた層はheyna,gpt2,megaなどの層に好適であり,複数の長距離シーケンス問題に対するパラメータ数と得られた性能レベルの両方について好適である。

関連論文リスト

• FiRST: Finetuning Router-Selective Transformers for Input-Adaptive Latency Reduction [11.146015814220858]
  FIRSTは、層固有のルータを使用して、各入力シーケンスに適応的にトランスフォーマー層のサブセットを選択することで、推論レイテンシを低減するアルゴリズムである。 私たちのアプローチでは、入力適応性は重要であり、タスクによって異なるタスク固有の中間層が隠れた表現を進化させる上で重要な役割を担っています。
  論文  参考訳（メタデータ） (2024-10-16T12:45:35Z)
• Scene Prior Filtering for Depth Super-Resolution [97.30137398361823]
  テクスチャ干渉とエッジ不正確性を緩和するScene Prior Filtering Network(SPFNet)を導入する。 我々のSPFNetは、実データと合成データの両方で広範囲に評価され、最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-02-21T15:35:59Z)
• Filter Pruning via Filters Similarity in Consecutive Layers [20.29555787754269]
  畳み込みニューラルネットワーク(CNN)の圧縮と高速化にフィルタプルーニングが広く採用されている 我々は,FSCL(Consecutive Layers)におけるフィルタ類似性を明示的に活用して,新しいプルーニング手法を直感的に提案する。 実験によりFSCLの有効性が示され, 精度, FLOP, パラメータ還元に対する最先端技術よりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2023-04-26T09:18:38Z)
• A neural network-supported two-stage algorithm for lightweight dereverberation on hearing devices [13.49645012479288]
  本稿では,2段階の軽量オンライン補聴器のオンライン補聴アルゴリズムについて述べる。 このアプローチは、マルチチャネルのマルチフレーム線形フィルタとシングルチャネルのシングルフレームポストフィルタを組み合わせる。 どちらのコンポーネントも、ディープニューラルネットワーク(DNN)によって提供されるパワースペクトル密度(PSD)の推定に依存している。
  論文  参考訳（メタデータ） (2022-04-06T11:08:28Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)
• Novel Adaptive Binary Search Strategy-First Hybrid Pyramid- and Clustering-Based CNN Filter Pruning Method without Parameters Setting [3.7468898363447654]
  CNNモデルにおける冗長フィルタの実行は注目されている。 本稿では,フィルタの自動刈取のための適応二分探索ファーストハイブリッドピラミッドとクラスタリングベース (ABS HPC) 手法を提案する。 実際のデータセットとCNNモデルに基づいて、より高精度な実験結果により、提案手法の有意なパラメータと浮動小数点演算の低減効果が示された。
  論文  参考訳（メタデータ） (2020-06-08T10:09:43Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。