Fugu-MT 論文翻訳(概要): Dynamic Query Selection for Fast Visual Perceiver

論文の概要: Dynamic Query Selection for Fast Visual Perceiver

arxiv url: http://arxiv.org/abs/2205.10873v2
Date: Tue, 21 Mar 2023 10:53:32 GMT
ステータス: 処理完了
システム内更新日: 2023-03-24 04:27:03.435846
Title: Dynamic Query Selection for Fast Visual Perceiver
Title（参考訳）: 高速視覚知覚のための動的クエリ選択
Authors: Corentin Dancette and Matthieu Cord
Abstract要約: 精度低下を抑えつつ、推論中のクエリQ数を削減し、Perceiversをさらに効率的にする方法を示す。本研究では,精度低下を抑えつつ,推論中のクエリQ数を削減し,Perceiversをより効率的にする方法を検討する。
参考スコア（独自算出の注目度）: 42.07082299370995
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Transformers have been matching deep convolutional networks for vision architectures in recent works. Most work is focused on getting the best results on large-scale benchmarks, and scaling laws seem to be the most successful strategy: bigger models, more data, and longer training result in higher performance. However, the reduction of network complexity and inference time remains under-explored. The Perceiver model offers a solution to this problem: by first performing a Cross-attention with a fixed number Q of latent query tokens, the complexity of the L-layers Transformer network that follows is bounded by O(LQ^2). In this work, we explore how to make Perceivers even more efficient, by reducing the number of queries Q during inference while limiting the accuracy drop.
Abstract（参考訳）: トランスフォーマーは近年,視覚アーキテクチャの深層畳み込みネットワークに対応している。ほとんどの作業は大規模なベンチマークで最高の結果を得ることに重点を置いており、スケーリング法則が最も成功した戦略であるように思われる。しかし、ネットワークの複雑さと推論時間の削減は未検討のままである。 Perceiver モデルはこの問題に対する解決策を提供する: まず、待ち行列トークンの固定数 Q でクロスアテンションを実行することにより、後続するL層トランスフォーマーネットワークの複雑さは O(LQ^2) によって制限される。本研究では,精度低下を抑えつつ,推論中のクエリQ数を削減し,Perceiversをより効率的にする方法を検討する。

関連論文リスト

Pruning By Explaining Revisited: Optimizing Attribution Methods to Prune CNNs and Transformers [14.756988176469365]
計算要求の削減と効率の向上のための効果的なアプローチは、ディープニューラルネットワークの不要なコンポーネントを創り出すことである。これまでの研究では、eXplainable AIの分野からの帰属法が、最も関係の低いネットワークコンポーネントを数ショットで抽出し、プルークする効果的な手段であることが示された。
論文参考訳（メタデータ） (2024-08-22T17:35:18Z)
Fast networked data selection via distributed smoothed quantile estimation [6.002041236376175]
我々は,最も情報性の高いデータを選択することと,マルチセットの上位k$要素を見つけることの関連性を確立する。ネットワークにおけるトップ$kの選択は、量子的推定として知られる分散非平滑凸最適化問題として定式化することができる。我々は、高い凸性の欠如による挑戦的な課題である、トップ$選択を達成するために必要な複雑さを特徴付けている。
論文参考訳（メタデータ） (2024-06-04T03:26:15Z)
RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2022-11-17T11:06:29Z)
A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文参考訳（メタデータ） (2022-10-14T03:43:05Z)
Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文参考訳（メタデータ） (2021-07-07T16:59:14Z)
RAN-GNNs: breaking the capacity limits of graph neural networks [43.66682619000099]
グラフニューラルネットワークは、グラフ上で定義されたデータの学習と分析に対処する問題の中心となっている。最近の研究では、複数の近隣サイズを同時に考慮し、適応的にそれらを調整する必要があるためです。ランダムに配線されたアーキテクチャを用いることで、ネットワークの容量を増大させ、よりリッチな表現を得ることができることを示す。
論文参考訳（メタデータ） (2021-03-29T12:34:36Z)
Delaying Interaction Layers in Transformer-based Encoders for Efficient Open Domain Question Answering [3.111078740559015]
ドキュメントの大規模コーパス上でのオープンドメイン質問回答(ODQA)は、コンピュータ科学における重要な課題である。本稿では,トランスモデルのアーキテクチャに汎用的な変更を適用することで,より直接的な補完的ソリューションを提案する。結果の変種は、抽出作業における元のモデルと競合し、ODQA設定では、大幅なスピードアップ、そして多くのケースでパフォーマンス改善が可能である。
論文参考訳（メタデータ） (2020-10-16T14:36:38Z)
A Partial Regularization Method for Network Compression [0.0]
本稿では, モデル圧縮を高速に行うために, 完全正則化と言われる全てのパラメータをペナライズする元の形式ではなく, 部分正則化のアプローチを提案する。実験結果から, ほぼすべての状況において, 走行時間の減少を観測することにより, 計算複雑性を低減できることが示唆された。驚くべきことに、複数のデータセットのトレーニングフェーズとテストフェーズの両方において、回帰フィッティング結果や分類精度などの重要な指標を改善するのに役立ちます。
論文参考訳（メタデータ） (2020-09-03T00:38:27Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。