Fugu-MT 論文翻訳(概要): SAMSA: Efficient Transformer for Many Data Modalities

論文の概要: SAMSA: Efficient Transformer for Many Data Modalities

arxiv url: http://arxiv.org/abs/2408.05391v1
Date: Sat, 10 Aug 2024 00:09:06 GMT
ステータス: 処理完了
システム内更新日: 2024-08-13 19:21:55.199044
Title: SAMSA: Efficient Transformer for Many Data Modalities
Title（参考訳）: SAMSA: 多くのデータモダリティのための効率的なトランスフォーマ
Authors: Minh Lenhat, Viet Anh Nguyen, Khoa Nguyen, Duong Duc Hieu, Dao Huu Hung, Truong Son Hy,
Abstract要約: 本稿では,コンテキスト認識型線形複雑性自己認識機構SAMSA-SAMpling-Self-Attentionを提案する。我々のメカニズムは、私たちが発見した代替手法を使わずに、微分可能なサンプリングに基づいています。 SAMSAは多くのベンチマークで競合やSOTAの結果を得たが、他の非常に特殊なモデルに比べて推論が速い。
参考スコア（独自算出の注目度）: 12.7600763629179
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The versatility of self-attention mechanism earned transformers great success in almost all data modalities, with limitations on the quadratic complexity and difficulty of training. Efficient transformers, on the other hand, often rely on clever data-modality-dependent construction to get over the quadratic complexity of transformers. This greatly hinders their applications on different data modalities, which is one of the pillars of contemporary foundational modeling. In this paper, we lay the groundwork for efficient foundational modeling by proposing SAMSA - SAMpling-Self-Attention, a context-aware linear complexity self-attention mechanism that works well on multiple data modalities. Our mechanism is based on a differentiable sampling without replacement method we discovered. This enables the self-attention module to attend to the most important token set, where the importance is defined by data. Moreover, as differentiability is not needed in inference, the sparse formulation of our method costs little time overhead, further lowering computational costs. In short, SAMSA achieved competitive or even SOTA results on many benchmarks, while being faster in inference, compared to other very specialized models. Against full self-attention, real inference time significantly decreases while performance ranges from negligible degradation to outperformance. We release our source code in the repository: https://github.com/HySonLab/SAMSA
Abstract（参考訳）: 自己保持機構の汎用性は、ほぼ全てのデータモダリティにおいてトランスフォーマーに大きな成功を収め、二次的な複雑さと訓練の難しさに制限を与えた。一方、効率的な変換器は、変換器の二次的な複雑さを克服するために、巧妙なデータモダリティに依存した構成に依存することが多い。これは、現代の基礎モデリングの柱の1つである異なるデータモダリティへの彼らの応用を著しく妨げている。本稿では, SAMSA-SAMpling-Self-Attentionを提案することによって, 効率的な基礎モデル構築の基盤となる課題について述べる。我々のメカニズムは、私たちが発見した代替手法を使わずに、微分可能なサンプリングに基づいています。これにより、自己アテンションモジュールは、データによって定義される最も重要なトークンセットに参加することができる。さらに、推論において微分可能性を必要としないため、我々の手法のスパース定式化はオーバーヘッドを少なくし、さらに計算コストを下げる。要するにSAMSAは、多くのベンチマークにおいて、他の非常に特殊なモデルと比較して、推論が高速でありながら、競争力やSOTA結果さえも達成した。完全な自己アテンションに対して、実際の推論時間は著しく減少するが、性能は無視できる劣化からパフォーマンスの低下まで様々である。私たちはリポジトリでソースコードをリリースします。

関連論文リスト

Sampling Foundational Transformer: A Theoretical Perspective [12.7600763629179]
本稿では,複数のデータモダリティを扱える基本サンプリング変換器(SFT)を提案する。 SFTは多くのベンチマークで競合する結果を得たが、他の非常に特殊なモデルに比べて推論が速い。
論文参考訳（メタデータ） (2024-08-11T16:53:09Z)
FuseMoE: Mixture-of-Experts Transformers for Fleximodal Fusion [29.130355774088205]
FuseMoEは、革新的なゲーティング機能を備えた、エキスパートの混成フレームワークである。多様なモダリティを統合するために設計されたFuseMoEは、欠落したモダリティと不規則にサンプリングされたデータトラジェクトリのシナリオを管理するのに効果的である。
論文参考訳（メタデータ） (2024-02-05T17:37:46Z)
AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文参考訳（メタデータ） (2023-10-04T04:26:33Z)
Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
論文参考訳（メタデータ） (2023-05-23T04:20:13Z)
Robust representations of oil wells' intervals via sparse attention mechanism [2.604557228169423]
正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
論文参考訳（メタデータ） (2022-12-29T09:56:33Z)
MMRNet: Improving Reliability for Multimodal Object Detection and Segmentation for Bin Picking via Multimodal Redundancy [68.7563053122698]
マルチモーダル冗長性(MMRNet)を用いた信頼度の高いオブジェクト検出・分割システムを提案する。これは、マルチモーダル冗長の概念を導入し、デプロイ中のセンサ障害問題に対処する最初のシステムである。システム全体の出力信頼性と不確実性を測定するために,すべてのモダリティからの出力を利用する新しいラベルフリーマルチモーダル整合性(MC)スコアを提案する。
論文参考訳（メタデータ） (2022-10-19T19:15:07Z)
HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文参考訳（メタデータ） (2022-06-15T19:10:35Z)
Deep invariant networks with differentiable augmentation layers [87.22033101185201]
データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
論文参考訳（メタデータ） (2022-02-04T14:12:31Z)
Sparse Fusion for Multimodal Transformers [7.98117428941095]
Sparse Fusion Transformers (SFT) は, トランスの新しい多モード融合法である。我々のアイデアの鍵は、モダリティ間のモデリングに先立って単調なトークンセットを減らすスパースプールブロックである。最新の性能は、同様の実験条件下で複数のベンチマークで得られ、計算コストとメモリ要求の最大6倍の削減を報告している。
論文参考訳（メタデータ） (2021-11-23T16:43:49Z)
Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文参考訳（メタデータ） (2021-07-28T23:33:42Z)
MESA: Boost Ensemble Imbalanced Learning with MEta-SAmpler [30.46938660561697]
我々はMESAという新しいアンサンブルILフレームワークを紹介する。複数の分類器を取得し、カスケードアンサンブルモデルを形成するために、反復でトレーニングセットを適応的に再サンプリングする。一般的なメタラーニングベースのILソリューションとは異なり、MESAではモデルトレーニングとメタトレーニングを分離する。
論文参考訳（メタデータ） (2020-10-17T17:29:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。