論文の概要: Saccade Attention Networks: Using Transfer Learning of Attention to Reduce Network Sizes

• arxiv url: http://arxiv.org/abs/2604.16485v1
• Date: Mon, 13 Apr 2026 04:32:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.019786
• Title: Saccade Attention Networks: Using Transfer Learning of Attention to Reduce Network Sizes
• Title（参考訳）: Saccade Attention Networks: ネットワークサイズ削減のためのTransfer Learning of Attentionの利用
• Authors: Marc Estafanous,
• Abstract要約: ネットワーク(Saccade Attention Network)を使用して、大規模な事前学習モデルから、どこに出席すべきかを学習する。 その結果,計算量を80%近く削減し,同様の結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the limitations of transformer networks is the sequence length due to the quadratic nature of the attention matrix. Classical self attention uses the entire sequence length, however, the actual attention being used is sparse. Humans use a form of sparse attention when analyzing an image or scene called saccades. Focusing on key features greatly reduces computation time. By using a network (Saccade Attention Network) to learn where to attend from a large pre-trained model, we can use it to pre-process images and greatly reduce network size by reducing the input sequence length to just the key features being attended to. Our results indicate that you can reduce calculations by close to 80% and produce similar results.
• Abstract（参考訳）: 変圧器ネットワークの限界の1つは、注意行列の二次性に起因するシーケンス長である。 古典的な自己注意はシーケンス全体の長さを使用するが、実際の注意は少ない。 人間は、ササードと呼ばれる画像やシーンを分析する際に、スパークアテンションの形式を使用する。 キー機能にフォーカスすることで、計算時間が大幅に短縮される。 ネットワーク(サックド・アテンション・ネットワーク)を用いて、大規模な事前学習モデルから参加する場所を学習することにより、入力シーケンス長を単に参加するキー機能に短縮することで、画像の事前処理とネットワークサイズを大幅に削減することができる。 その結果,計算量を80%近く削減し,同様の結果が得られることがわかった。

関連論文リスト

• Sharpness-Aware Minimization Leads to Low-Rank Features [49.64754316927016]
  シャープネス認識最小化(SAM)は、ニューラルネットワークのトレーニング損失を最小限に抑える手法である。 SAMはニューラルネットワークの異なる層で発生する特徴ランクを減少させる。 我々はこの効果を理論的に確認し、深層ネットワークでも起こりうることを確認する。
  論文  参考訳（メタデータ） (2023-05-25T17:46:53Z)
• Self-Compressing Neural Networks [0.0]
  この研究は、ニューラルネットワークの実行時間、消費電力、帯域幅、メモリフットプリントの主要な要因である、ニューラルネットワークのサイズ削減に重点を置いている。 重要な課題は、特別なハードウェアを必要とせずに、効率的なトレーニングと推論のために簡単に活用できる方法でサイズを減らすことである。 本稿では,(1)重みの除去,(2)残りの重みの表現に必要なビット数の削減という2つの目標を同時に達成する,単純で汎用的な方法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T18:22:28Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Learning to Match Features with Seeded Graph Matching Network [35.70116378238535]
  冗長な接続性を低減し,コンパクトな表現を学習する,スパース構造を持つグラフニューラルネットワークであるSeeded Graph Matching Networkを提案する。 実験により,本手法は典型的な注意型ネットワークと比較して計算量やメモリの複雑さを著しく低減することが示された。
  論文  参考訳（メタデータ） (2021-08-19T16:25:23Z)
• ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction [1.52292571922932]
  本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
  論文  参考訳（メタデータ） (2021-01-21T15:56:29Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Neural Sparse Representation for Image Restoration [116.72107034624344]
  スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。 本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。 実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
  論文  参考訳（メタデータ） (2020-06-08T05:15:17Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Quantisation and Pruning for Neural Network Compression and Regularisation [2.320417845168326]
  ディープニューラルネットワークは計算コストが大きすぎて、コンシューマグレードのハードウェアや低消費電力のデバイス上でリアルタイムで動作できない。 ニューラルネットワークの計算とメモリ要件の低減を,ネットワークプルーニングと量子化によって検討する。
  論文  参考訳（メタデータ） (2020-01-14T15:22:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。