論文の概要: RankMamba: Benchmarking Mamba's Document Ranking Performance in the Era of Transformers

• arxiv url: http://arxiv.org/abs/2403.18276v2
• Date: Sun, 7 Apr 2024 06:44:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 00:16:23.982983
• Title: RankMamba: Benchmarking Mamba's Document Ranking Performance in the Era of Transformers
• Title（参考訳）: RankMamba: トランスフォーマー時代におけるMambaのドキュメントランキングパフォーマンスのベンチマーク
• Authors: Zhichao Xu,
• Abstract要約: トランスフォーマーアーキテクチャのコアメカニズム -- 注意には、トレーニングにおけるO(n2)$時間複雑さと推論におけるO(n)$時間複雑さが必要です。 状態空間モデルに基づく有名なモデル構造であるMambaは、シーケンスモデリングタスクにおいてトランスフォーマー等価のパフォーマンスを達成した。 同じトレーニングレシピを持つトランスフォーマーベースモデルと比較して,Mambaモデルは競争性能が向上することがわかった。
• 参考スコア（独自算出の注目度）: 2.8554857235549753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer structure has achieved great success in multiple applied machine learning communities, such as natural language processing (NLP), computer vision (CV) and information retrieval (IR). Transformer architecture's core mechanism -- attention requires $O(n^2)$ time complexity in training and $O(n)$ time complexity in inference. Many works have been proposed to improve the attention mechanism's scalability, such as Flash Attention and Multi-query Attention. A different line of work aims to design new mechanisms to replace attention. Recently, a notable model structure -- Mamba, which is based on state space models, has achieved transformer-equivalent performance in multiple sequence modeling tasks. In this work, we examine \mamba's efficacy through the lens of a classical IR task -- document ranking. A reranker model takes a query and a document as input, and predicts a scalar relevance score. This task demands the language model's ability to comprehend lengthy contextual inputs and to capture the interaction between query and document tokens. We find that (1) Mamba models achieve competitive performance compared to transformer-based models with the same training recipe; (2) but also have a lower training throughput in comparison to efficient transformer implementations such as flash attention. We hope this study can serve as a starting point to explore Mamba models in other classical IR tasks. Our code implementation and trained checkpoints are made public to facilitate reproducibility (https://github.com/zhichaoxu-shufe/RankMamba).
• Abstract（参考訳）: トランスフォーマー構造は、自然言語処理(NLP)、コンピュータビジョン(CV)、情報検索(IR)など、複数の応用機械学習コミュニティで大きな成功を収めている。 トランスフォーマーアーキテクチャのコアメカニズム -- 注意には、トレーニングで$O(n^2)$時間複雑さと推論で$O(n)$時間複雑さが必要です。 Flash AttentionやMulti-query Attentionといった、アテンションメカニズムのスケーラビリティを改善するために、多くの作業が提案されている。 異なる作業ラインは、注意を置き換えるための新しいメカニズムを設計することを目的としています。 近年、状態空間モデルに基づく有名なモデル構造であるMambaは、複数のシーケンスモデリングタスクにおいてトランスフォーマー等価のパフォーマンスを達成した。 そこで本研究では,古典的IRタスクのレンズ(文書ランキング)を用いて,Shamambaの有効性について検討する。 リランカモデルは、クエリとドキュメントを入力として、スカラー関連スコアを予測する。 このタスクは、長いコンテキスト入力を理解し、クエリとドキュメントトークン間の相互作用をキャプチャする言語モデルの能力を必要とする。 その結果,(1) ガンバモデルは同じトレーニングレシピを持つトランスフォーマーモデルと比較して競争性能が向上し,(2) フラッシュアテンションなどの効率的なトランスフォーマー実装と比較してトレーニングスループットも低いことがわかった。 この研究が、他の古典的赤外線タスクにおいて、Mambaモデルを探索するための出発点になることを期待している。 私たちのコード実装とトレーニングされたチェックポイントは、再現性を促進するために公開されています(https://github.com/zhichaoxu-shufe/RankMamba)。

関連論文リスト

• Birdie: Advancing State Space Models with Reward-Driven Objectives and Curricula [23.071384759427072]
  状態空間モデル(SSM)はトランスフォーマーよりも利点があるが、長期のコンテキスト内検索のようなテキストコピー、連想リコール、質問応答を必要とするタスクに苦労する。 本研究では,SSMのコンテキスト内検索能力を大幅に向上する新たな学習手法であるBirdieを提案する。
  論文  参考訳（メタデータ） (2024-11-01T21:01:13Z)
• Towards Universality: Studying Mechanistic Similarity Across Language Model Architectures [49.24097977047392]
  本稿では,言語モデリングの主流となる2つのアーキテクチャ,すなわち Transformers と Mambas について検討する。 我々はこれらのモデルから解釈可能な特徴を分離するためにスパースオートエンコーダ(SAE)を用いることを提案し、これらの2つのモデルでほとんどの特徴が似ていることを示す。
  論文  参考訳（メタデータ） (2024-10-09T08:28:53Z)
• An Empirical Study of Mamba-based Pedestrian Attribute Recognition [15.752464463535178]
  本論文は,Mambaを2つの典型的なPARフレームワーク,テキスト画像融合アプローチと純粋ビジョンMambaマルチラベル認識フレームワークに設計・適応する。 属性タグを追加入力として操作することは、必ずしも改善につながるとは限らない。具体的には、Vimを拡張できるが、VMambaではできない。 これらの実験結果は、単にTransformerでMambaを拡張すれば、パフォーマンスが向上するだけでなく、特定の設定でより良い結果が得られることを示している。
  論文  参考訳（メタデータ） (2024-07-15T00:48:06Z)
• How Effective are State Space Models for Machine Translation? [19.509486069758495]
  トランスフォーマーは現在のNLPのアーキテクチャとして選択されているが、注意層は長いコンテキストではスケールしない。 最近の研究は、注意を線形リカレント層に置き換えることを提案する。 これらのモデルが機械翻訳においてトランスフォーマーと競合するかどうかは不明である。
  論文  参考訳（メタデータ） (2024-07-07T20:21:49Z)
• Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
  任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。 具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。 バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
  論文  参考訳（メタデータ） (2024-05-27T22:15:23Z)
• Demystify Mamba in Vision: A Linear Attention Perspective [72.93213667713493]
  Mambaは線形計算複雑性を持つ効率的な状態空間モデルである。 我々は,Mambaが線形アテンショントランスフォーマーと驚くほど類似していることを示す。 本稿では,これら2つの鍵設計の利点を線形注意に取り入れた,マンバ様線形注意(MLLA)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-26T15:31:09Z)
• The Hidden Attention of Mamba Models [54.50526986788175]
  Mamba層は、複数のドメインをモデリングするのに非常に効果的である効率的な選択状態空間モデル(SSM)を提供する。 このようなモデルを注意駆動モデルとみなすことができる。 この新たな視点は、トランスの自己保持層のメカニズムを経験的かつ理論的に比較することを可能にする。
  論文  参考訳（メタデータ） (2024-03-03T18:58:21Z)
• Can Mamba Learn How to Learn? A Comparative Study on In-Context Learning Tasks [25.092302463435523]
  状態空間モデル(SSM)は言語モデリングにおけるトランスフォーマーネットワークの代替として提案されている。 本研究では,各種タスクを対象としたトランスフォーマーモデルに対して,マンバに着目したSSMのICL性能を評価する。
  論文  参考訳（メタデータ） (2024-02-06T18:56:35Z)
• Is Mamba Capable of In-Context Learning? [63.682741783013306]
  GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T16:39:12Z)
• Efficient Adaptive Human-Object Interaction Detection with Concept-guided Memory [64.11870454160614]
  概念誘導メモリ(ADA-CM)を用いた適応型HOI検出器を提案する。 ADA-CMには2つの操作モードがある。最初のモードでは、トレーニング不要のパラダイムで新しいパラメータを学習することなくチューニングできる。 提案手法は, HICO-DET と V-COCO のデータセットに対して, より少ないトレーニング時間で, 最新技術による競合的な結果を得る。
  論文  参考訳（メタデータ） (2023-09-07T13:10:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。