論文の概要: State Space Models are Strong Text Rerankers

• arxiv url: http://arxiv.org/abs/2412.14354v1
• Date: Wed, 18 Dec 2024 21:42:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:32:35.165355
• Title: State Space Models are Strong Text Rerankers
• Title（参考訳）: 状態空間モデルは強いテキストリランカである
• Authors: Zhichao Xu, Jinghua Yan, Ashim Gupta, Vivek Srikumar,
• Abstract要約: Mambaのようなステートスペースモデル(SSM)は有望な利点を提供する。 その可能性にもかかわらず、SSMのテキストの再ランクにおける有効性は未定のままである。 Mambaアーキテクチャは、同様のサイズのトランスフォーマーベースのモデルに匹敵する、競合するテキストランキングのパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 33.41687512973575
• License:
• Abstract: Transformers dominate NLP and IR; but their inference inefficiencies and challenges in extrapolating to longer contexts have sparked interest in alternative model architectures. Among these, state space models (SSMs) like Mamba offer promising advantages, particularly $O(1)$ time complexity in inference. Despite their potential, SSMs' effectiveness at text reranking -- a task requiring fine-grained query-document interaction and long-context understanding -- remains underexplored. This study benchmarks SSM-based architectures (specifically, Mamba-1 and Mamba-2) against transformer-based models across various scales, architectures, and pre-training objectives, focusing on performance and efficiency in text reranking tasks. We find that (1) Mamba architectures achieve competitive text ranking performance, comparable to transformer-based models of similar size; (2) they are less efficient in training and inference compared to transformers with flash attention; and (3) Mamba-2 outperforms Mamba-1 in both performance and efficiency. These results underscore the potential of state space models as a transformer alternative and highlight areas for improvement in future IR applications.
• Abstract（参考訳）: トランスフォーマーは NLP と IR を支配しているが、その推論の非効率性と長いコンテキストへの外挿の課題は、代替モデルアーキテクチャへの関心を喚起している。 これらのうち、Mambaのような状態空間モデル(SSM)は有望な利点を提供する。 その可能性にもかかわらず、詳細なクエリとドキュメントのインタラクションと長いコンテキストの理解を必要とするタスクであるテキストの再ランクにおけるSSMの有効性は、いまだ検討されていない。 本研究では,SSMベースのアーキテクチャ(特にMamba-1とMamba-2)を,さまざまなスケール,アーキテクチャ,事前学習対象のトランスフォーマーベースモデルに対してベンチマークし,テキストリグレードタスクの性能と効率性に着目した。 その結果,(1)Mambaアーキテクチャは,類似サイズのトランスフォーマーモデルに匹敵する競争力のあるテキストランキング性能を実現し,(2)フラッシュアテンションを持つトランスフォーマーに比べてトレーニングや推論の効率が低く,(3)Mamba-2はパフォーマンスと効率の両方でMamba-1を上回っていることがわかった。 これらの結果は、トランスフォーマー代替として状態空間モデルの可能性を強調し、将来のIRアプリケーションで改善すべき領域を強調している。

関連論文リスト

• MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
  従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。 効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
  論文  参考訳（メタデータ） (2024-11-24T18:01:05Z)
• State-space models are accurate and efficient neural operators for dynamical systems [23.59679792068364]
  物理インフォームド・機械学習(PIML)は、力学系を予測する古典的な手法の代替として期待されている。 リカレントニューラルネットワーク(RNN)、トランスフォーマー、ニューラル演算子など、既存のモデルでは、長時間の統合、長距離依存性、カオスダイナミクス、外挿といった課題に直面している。 本稿では,Mambaで実装された動的システム演算子学習のための状態空間モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-05T03:57:28Z)
• ReMamba: Equip Mamba with Effective Long-Sequence Modeling [50.530839868893786]
  本研究では,長い文脈の理解能力を高めるReMambaを提案する。 ReMambaは2段階のプロセスで選択的圧縮と適応のテクニックを取り入れている。
  論文  参考訳（メタデータ） (2024-08-28T02:47:27Z)
• Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
  本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。 具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。 実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-08-15T02:29:00Z)
• How Effective are State Space Models for Machine Translation? [19.509486069758495]
  トランスフォーマーは現在のNLPのアーキテクチャとして選択されているが、注意層は長いコンテキストではスケールしない。 最近の研究は、注意を線形リカレント層に置き換えることを提案する。 これらのモデルが機械翻訳においてトランスフォーマーと競合するかどうかは不明である。
  論文  参考訳（メタデータ） (2024-07-07T20:21:49Z)
• An Empirical Study of Mamba-based Language Models [69.74383762508805]
  Mambaのような選択的な状態空間モデル(SSM)はトランスフォーマーの欠点を克服する。 同じデータセット上で訓練された8B-context Mamba, Mamba-2, Transformer モデルを直接比較する。 8BのMamba-2-Hybridは、12の標準タスクで8BのTransformerを上回っている。
  論文  参考訳（メタデータ） (2024-06-12T05:25:15Z)
• RankMamba: Benchmarking Mamba's Document Ranking Performance in the Era of Transformers [2.8554857235549753]
  トランスフォーマーアーキテクチャのコアメカニズム -- 注意には、トレーニングにおけるO(n2)$時間複雑さと推論におけるO(n)$時間複雑さが必要です。 状態空間モデルに基づく有名なモデル構造であるMambaは、シーケンスモデリングタスクにおいてトランスフォーマー等価のパフォーマンスを達成した。 同じトレーニングレシピを持つトランスフォーマーベースモデルと比較して,Mambaモデルは競争性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-27T06:07:05Z)
• Can Mamba Learn How to Learn? A Comparative Study on In-Context Learning Tasks [25.092302463435523]
  状態空間モデル(SSM)は言語モデリングにおけるトランスフォーマーネットワークの代替として提案されている。 本研究では,各種タスクを対象としたトランスフォーマーモデルに対して,マンバに着目したSSMのICL性能を評価する。
  論文  参考訳（メタデータ） (2024-02-06T18:56:35Z)
• Is Mamba Capable of In-Context Learning? [63.682741783013306]
  GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T16:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。