論文の概要: Harnessing Attention Mechanisms: Efficient Sequence Reduction using
Attention-based Autoencoders
- arxiv url: http://arxiv.org/abs/2310.14837v1
- Date: Mon, 23 Oct 2023 11:57:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 20:25:48.641668
- Title: Harnessing Attention Mechanisms: Efficient Sequence Reduction using
Attention-based Autoencoders
- Title(参考訳): 注意機構:アテンションベースオートエンコーダを用いた効率的なシーケンス削減
- Authors: Daniel Biermann, Fabrizio Palumbo, Morten Goodwin, Ole-Christoffer
Granmo
- Abstract要約: 本稿では,シーケンス長を直接操作できる新しいアテンションベース手法を提案する。
オートエンコーダは、元のシーケンスを元のサイズの半分に減らす際に、重要な情報を全て保持していることを示す。
- 参考スコア(独自算出の注目度): 14.25761027376296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many machine learning models use the manipulation of dimensions as a driving
force to enable models to identify and learn important features in data. In the
case of sequential data this manipulation usually happens on the token
dimension level. Despite the fact that many tasks require a change in sequence
length itself, the step of sequence length reduction usually happens out of
necessity and in a single step. As far as we are aware, no model uses the
sequence length reduction step as an additional opportunity to tune the models
performance. In fact, sequence length manipulation as a whole seems to be an
overlooked direction. In this study we introduce a novel attention-based method
that allows for the direct manipulation of sequence lengths. To explore the
method's capabilities, we employ it in an autoencoder model. The autoencoder
reduces the input sequence to a smaller sequence in latent space. It then aims
to reproduce the original sequence from this reduced form. In this setting, we
explore the methods reduction performance for different input and latent
sequence lengths. We are able to show that the autoencoder retains all the
significant information when reducing the original sequence to half its
original size. When reducing down to as low as a quarter of its original size,
the autoencoder is still able to reproduce the original sequence with an
accuracy of around 90%.
- Abstract(参考訳): 多くの機械学習モデルは次元の操作を駆動力として使い、モデルがデータの重要な特徴を識別し学習できるようにする。
シーケンシャルデータの場合、この操作は通常トークン次元のレベルで行われる。
多くのタスクがシーケンス長自体を変更する必要があるにもかかわらず、シーケンス長の削減のステップは通常、必要から1ステップで発生する。
認識している限り、モデルのパフォーマンスを調整する追加の機会としてシーケンス長削減ステップを使用するモデルはありません。
実際、シーケンス長の操作は全体として見過ごされた方向のようだ。
本研究では,配列長の直接操作を可能にする新しい注意に基づく手法を提案する。
提案手法の能力を探索するために,オートエンコーダモデルを用いた。
オートエンコーダは入力シーケンスを潜在空間内の小さなシーケンスに縮小する。
その後、この縮小された形式から元の配列を再現することを目指している。
そこで本研究では,入力列長と潜時列長の異なる手法の削減性能について検討する。
オートエンコーダは、元のシーケンスを元のサイズの半分に減らす際に、重要な情報を全て保持していることを示すことができる。
元のサイズの4分の1まで削減した場合、オートエンコーダは元のシーケンスを90%の精度で再現することができる。
関連論文リスト
- Are We Using Autoencoders in a Wrong Way? [3.110260251019273]
オートエンコーダは次元減少、異常検出、特徴抽出に使用される。
潜在空間の形状を変更する不完全なオートエンコーダの標準トレーニングを再考した。
また,データセット全体からランダムサンプルを再構成する場合の潜伏空間の挙動についても検討した。
論文 参考訳(メタデータ) (2023-09-04T11:22:43Z) - SpATr: MoCap 3D Human Action Recognition based on Spiral Auto-encoder
and Transformer Network [1.279257604152629]
本稿では,Spiral Auto-Encoder と Transformer Network をベースとした,固定トポロジメッシュ列からの人間の行動認識モデルを提案する。
スパイラル畳み込みに基づく自動エンコーダを構築することにより、競合認識率と高いメモリ効率を示す。
論文 参考訳(メタデータ) (2023-06-30T11:49:00Z) - SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling
with Backtracking [98.22870889029114]
MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。
我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。
これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。
得られた手法であるSequenceMatchは、敵の訓練や大きなアーキテクチャ変更なしに実装できる。
論文 参考訳(メタデータ) (2023-06-08T17:59:58Z) - Toeplitz Neural Network for Sequence Modeling [46.04964190407727]
Toeplitz行列ベクトル生成のトリックにより、シーケンスモデリングの時間的複雑さを減らし、ログ線形化することを示す。
パラメータの固定予算で相対位置係数を生成するために、相対位置エンコーダと呼ばれる軽量サブネットワークを提案する。
512 tokenのシーケンスでトレーニングされているにもかかわらず、我々のモデルは、一貫した性能で最大14Kトークンの入力シーケンス長を推定することができる。
論文 参考訳(メタデータ) (2023-05-08T14:49:01Z) - DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention [53.02648818164273]
動的双線形低ランク注意(DBA)という,効率的かつ効果的な注意機構を提案する。
DBAは入力感度の動的射影行列によってシーケンス長を圧縮し、線形時間と空間の複雑さを実現する。
様々なシーケンス長条件のタスクに対する実験は、DBAが最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T03:06:36Z) - On Compressing Sequences for Self-Supervised Speech Models [78.62210521316081]
自己教師型学習における時間軸に沿った固定長と可変長のサブサンプリングについて検討した。
可変長サブサンプリングは,低フレームレートで特に良好に動作することがわかった。
音素境界にアクセスできる場合、平均フレームレートが10Hz以下の場合、性能の劣化は見つからない。
論文 参考訳(メタデータ) (2022-10-13T17:10:02Z) - Staircase Attention for Recurrent Processing of Sequences [34.53670631387504]
ステアケースアテンションは、他の処理ステップを追加して入力を(時間内に)繰り返し処理する。
この再発により、従来のトランスフォーマーでは不可能なタスクを追跡することができる。
大規模言語モデリングや対話タスクにおける自己拡張型トランスフォーマーと比較して,同じサイズモデル(パラメータ数)のモデリング能力が向上し,パープレキシティが大幅に向上することが示されている。
論文 参考訳(メタデータ) (2021-06-08T12:19:31Z) - Funnel-Transformer: Filtering out Sequential Redundancy for Efficient
Language Processing [112.2208052057002]
本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。
Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
論文 参考訳(メタデータ) (2020-06-05T05:16:23Z) - Spike-Triggered Non-Autoregressive Transformer for End-to-End Speech
Recognition [66.47000813920617]
エンドツーエンド音声認識のためのスパイクトリガー付き非自己回帰変換器モデルを提案する。
提案モデルでは,ターゲット列の長さを正確に予測し,競合性能を実現する。
このモデルは0.0056のリアルタイム係数も達成しており、全ての主流音声認識モデルを超えている。
論文 参考訳(メタデータ) (2020-05-16T08:27:20Z) - Sequence-to-Sequence Imputation of Missing Sensor Data [1.9036571490366496]
センサデータの欠落を回復するためのシーケンス・ツー・シーケンス・モデルを開発した。
前方RNNは、行方不明シーケンスの前に観測されたデータを符号化し、後方RNNは行方不明シーケンス後に観測されたデータを符号化する。
デコーダは、2つのエンコーダを新しい方法で復号し、欠落したデータを予測する。
論文 参考訳(メタデータ) (2020-02-25T09:51:20Z) - Hard Non-Monotonic Attention for Character-Level Transduction [65.17388794270694]
2つの弦間の多くの非単調なアライメントを余剰化するための厳密な指数時間アルゴリズムを導入する。
ソフト・モノトニック・アテンションとハード・ノン・モノトニック・アテンションを実験的に比較したところ、正確なアルゴリズムは近似よりも性能を著しく改善し、ソフト・アテンションよりも優れていた。
論文 参考訳(メタデータ) (2018-08-29T20:00:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。