論文の概要: Venturing into Uncharted Waters: The Navigation Compass from Transformer to Mamba

• arxiv url: http://arxiv.org/abs/2406.16722v1
• Date: Mon, 24 Jun 2024 15:27:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 14:15:21.814785
• Title: Venturing into Uncharted Waters: The Navigation Compass from Transformer to Mamba
• Title（参考訳）: 変圧器からマンバへの航法コンパス
• Authors: Yuchen Zou, Yineng Chen, Zuchao Li, Lefei Zhang, Hai Zhao,
• Abstract要約: ディープニューラルネットワークアーキテクチャであるTransformerは、長年、自然言語処理などの分野を支配してきた。 マンバの最近の導入は、その優位性に挑戦し、研究者の間でかなりの関心を喚起し、マンバをベースとした一連のモデルが顕著な可能性を示している。 本研究は,総合的な議論をまとめ,本質的な研究の側面に潜り込み,(1)構造的状態空間モデルの原理に基づくマンバ機構の機能とその基盤,(2)提案されたマンバの様々なネットワークへの統合,(3)トランスフォーマーの代替としての可能性を探る。
• 参考スコア（独自算出の注目度）: 77.21394300708172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer, a deep neural network architecture, has long dominated the field of natural language processing and beyond. Nevertheless, the recent introduction of Mamba challenges its supremacy, sparks considerable interest among researchers, and gives rise to a series of Mamba-based models that have exhibited notable potential. This survey paper orchestrates a comprehensive discussion, diving into essential research dimensions, covering: (i) the functioning of the Mamba mechanism and its foundation on the principles of structured state space models; (ii) the proposed improvements and the integration of Mamba with various networks, exploring its potential as a substitute for Transformers; (iii) the combination of Transformers and Mamba to compensate for each other's shortcomings. We have also made efforts to interpret Mamba and Transformer in the framework of kernel functions, allowing for a comparison of their mathematical nature within a unified context. Our paper encompasses the vast majority of improvements related to Mamba to date.
• Abstract（参考訳）: ディープニューラルネットワークアーキテクチャであるTransformerは、長年、自然言語処理などの分野を支配してきた。 しかし、最近のマンバの導入は、その優位性に挑戦し、研究者の間でかなりの関心を喚起し、マンバをベースとした一連のモデルが顕著な可能性を示している。 この調査論文は、総合的な議論を組織し、本質的な研究の側面に飛び込み、以下をカバーしている。 i) マンバ機構の機能とその構造的状態空間モデルの原理に基づく基礎 (二) トランスフォーマーの代替としての可能性を探り、様々なネットワークとMambaの統合と改善を提案すること。 三 トランスフォーマーとマンバの組み合わせにより、お互いの欠点を補うこと。 我々はまた、カーネル関数のフレームワークにおいて、MambaとTransformerを解釈し、それらの数学的性質を統一された文脈内で比較できるように努力してきた。 本稿は,現在までのマンバに関する改善の大部分を取り上げている。

関連論文リスト

• A Comprehensive Survey of Mamba Architectures for Medical Image Analysis: Classification, Segmentation, Restoration and Beyond [2.838321145442743]
  Mambaは、医用画像分析におけるテンプレートベースのディープラーニングアプローチに代わるものだ。 線形時間の複雑さがあり、トランスよりも大幅に改善されている。 Mambaは、注意機構のない長いシーケンスを処理し、高速な推論を可能にし、メモリを少なくする。
  論文  参考訳（メタデータ） (2024-10-03T10:23:03Z)
• ReMamba: Equip Mamba with Effective Long-Sequence Modeling [50.530839868893786]
  本研究では,長い文脈の理解能力を高めるReMambaを提案する。 ReMambaは2段階のプロセスで選択的圧縮と適応のテクニックを取り入れている。
  論文  参考訳（メタデータ） (2024-08-28T02:47:27Z)
• A Survey of Mamba [27.939712558507516]
  近年,基礎モデル構築の代替手段として,Mambaという新しいアーキテクチャが登場している。 本研究では,マンバモデルの発展,多様なデータにマンバを適応させる技術,およびマンバが優れている応用について検討する。
  論文  参考訳（メタデータ） (2024-08-02T09:18:41Z)
• Mamba meets crack segmentation [0.18416014644193066]
  亀裂はインフラに安全リスクをもたらし、見落としられない。 CNNはグローバルなモデリング能力に欠けており、ひび割れの特徴全体の表現を妨げる。 本研究では,マンバの特徴を分解する表現能力について検討する。
  論文  参考訳（メタデータ） (2024-07-22T15:21:35Z)
• An Empirical Study of Mamba-based Pedestrian Attribute Recognition [15.752464463535178]
  本論文は,Mambaを2つの典型的なPARフレームワーク,テキスト画像融合アプローチと純粋ビジョンMambaマルチラベル認識フレームワークに設計・適応する。 属性タグを追加入力として操作することは、必ずしも改善につながるとは限らない。具体的には、Vimを拡張できるが、VMambaではできない。 これらの実験結果は、単にTransformerでMambaを拡張すれば、パフォーマンスが向上するだけでなく、特定の設定でより良い結果が得られることを示している。
  論文  参考訳（メタデータ） (2024-07-15T00:48:06Z)
• MambaVision: A Hybrid Mamba-Transformer Vision Backbone [54.965143338206644]
  本稿では,視覚応用に適した新しいハイブリッド型Mamba-TransformerバックボーンであるMambaVisionを提案する。 私たちのコアコントリビューションには、視覚的特徴の効率的なモデリング能力を高めるために、Mambaの定式化を再設計することが含まれています。 視覚変換器(ViT)とマンバの統合可能性に関する包括的アブレーション研究を行う。
  論文  参考訳（メタデータ） (2024-07-10T23:02:45Z)
• Demystify Mamba in Vision: A Linear Attention Perspective [72.93213667713493]
  Mambaは線形計算複雑性を持つ効率的な状態空間モデルである。 我々は,Mambaが線形アテンショントランスフォーマーと驚くほど類似していることを示す。 本稿では,これら2つの鍵設計の利点を線形注意に取り入れた,マンバ様線形注意(MLLA)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-26T15:31:09Z)
• Visual Mamba: A Survey and New Outlooks [33.90213491829634]
  最近の選択的構造化状態空間モデルであるMambaは、ロングシーケンスモデリングにおいて優れている。 2024年1月以降、マンバは多様なコンピュータビジョンタスクに積極的に適用されてきた。 本稿では,200以上の論文を分析し,マンバの視覚的アプローチを概観する。
  論文  参考訳（メタデータ） (2024-04-29T16:51:30Z)
• ReMamber: Referring Image Segmentation with Mamba Twister [51.291487576255435]
  ReMamberは、マルチモーダルなMamba TwisterブロックとMambaのパワーを統合する新しいRISアーキテクチャである。 Mamba Twisterは画像とテキストのインタラクションを明示的にモデル化し、独自のチャネルと空間的ツイスト機構を通じてテキストと視覚的特徴を融合する。
  論文  参考訳（メタデータ） (2024-03-26T16:27:37Z)
• Is Mamba Capable of In-Context Learning? [63.682741783013306]
  GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T16:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。