論文の概要: MambaByte: Token-free Selective State Space Model

• arxiv url: http://arxiv.org/abs/2401.13660v3
• Date: Fri, 9 Aug 2024 20:18:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 00:18:18.888550
• Title: MambaByte: Token-free Selective State Space Model
• Title（参考訳）: MambaByte: Token-free Selective State Space Model
• Authors: Junxiong Wang, Tushaar Gangavarapu, Jing Nathan Yan, Alexander M. Rush,
• Abstract要約: マンババイト(英: MambaByte)は、マンバSSMがバイト配列で自己回帰的に訓練したトークンレス適応である。 MambaByteは、言語モデリングタスクにおいて、最先端のサブワードトランスフォーマーよりも優れています。
• 参考スコア（独自算出の注目度）: 71.90159903595514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Token-free language models learn directly from raw bytes and remove the inductive bias of subword tokenization. Operating on bytes, however, results in significantly longer sequences. In this setting, standard autoregressive Transformers scale poorly as the effective memory required grows with sequence length. The recent development of the Mamba state space model (SSM) offers an appealing alternative approach with a fixed-sized memory state and efficient decoding. We propose MambaByte, a token-free adaptation of the Mamba SSM trained autoregressively on byte sequences. In terms of modeling, we show MambaByte to be competitive with, and even to outperform, state-of-the-art subword Transformers on language modeling tasks while maintaining the benefits of token-free language models, such as robustness to noise. In terms of efficiency, we develop an adaptation of speculative decoding with tokenized drafting and byte-level verification. This results in a $2.6\times$ inference speedup to the standard MambaByte implementation, showing similar decoding efficiency as the subword Mamba. These findings establish the viability of SSMs in enabling token-free language modeling.
• Abstract（参考訳）: トークンフリー言語モデルは、生のバイトから直接学習し、サブワードトークン化の帰納バイアスを取り除く。 しかしバイトを操作すると、配列が大幅に長くなる。 この設定では、必要な有効メモリがシーケンス長とともに増加するにつれて、標準の自己回帰変換器はスケールが悪くなる。 最近開発されたMamba状態空間モデル(SSM)は、固定サイズのメモリ状態と効率的なデコードを備えた魅力的な代替手法を提供する。 本稿では,バイトシーケンスに基づいて自己回帰的にトレーニングされたMamba SSMのトークンフリー適応であるMambaByteを提案する。 モデリングの面では、MambaByteは、堅牢性やノイズといったトークンフリーな言語モデルの利点を維持しつつ、言語モデリングタスクにおいて、最先端のサブワードトランスフォーマーよりも優れ、さらに優れています。 効率の面では、トークン化された起草とバイトレベルの検証による投機的復号化の適応を開発する。 これにより、標準のMambaByte実装に対する$2.6\times$推論が高速化され、サブワードのMambaと同様の復号効率が示された。 これらの結果から,トークンフリー言語モデリングにおけるSSMの実現可能性が確認された。

関連論文リスト

• Taipan: Efficient and Expressive State Space Language Models with Selective Attention [100.16383527459429]
  自然言語処理(NLP)における長文言語モデリングの課題 Mambaのような最近のステートスペースモデル(SSM)は、メモリ使用量を一定に抑える代替手段を提供するが、大規模なコンテキスト内検索を必要とするタスクでは性能が劣る。 我々は,Mamba-2と選択注意層(SAL)を組み合わせた新しいハイブリッドアーキテクチャであるTaipanを紹介する。 我々の実験は、様々なスケールやタスクにまたがる優れたパフォーマンスを示し、より効率的な長文言語モデリングのための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-10-24T09:25:37Z)
• An Empirical Study of Mamba-based Language Models [69.74383762508805]
  Mambaのような選択的な状態空間モデル(SSM)はトランスフォーマーの欠点を克服する。 同じデータセット上で訓練された8B-context Mamba, Mamba-2, Transformer モデルを直接比較する。 8BのMamba-2-Hybridは、12の標準タスクで8BのTransformerを上回っている。
  論文  参考訳（メタデータ） (2024-06-12T05:25:15Z)
• Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling [70.94320930424331]
  選択状態空間モデル(SSM)であるMambaとSliding Window Attention(SWA)を組み合わせた単純なハイブリッドアーキテクチャであるSambaを提案する。 Sambaは、特定のシーケンスを選択的にリカレントな隠蔽状態に圧縮すると同時に、アテンション機構で正確に記憶を思い出す能力を維持している。 線形時間シーケンスモデルとして、Sambaは128Kの処理プロンプトでグループアテンションを持つトランスフォーマーに比べて3.73倍のスループットを保ち、無制限のストリーミングで64Kトークンを生成する場合の3.64倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2024-06-11T17:50:51Z)
• Mamba State-Space Models Are Lyapunov-Stable Learners [1.6385815610837167]
  Mamba State-space Model (SSM) は、最近様々なタスクでTransformer Large Language Model (LLM) より優れていることが示されている。 我々は,Mambaのリカレントダイナミクスが小さな入力変化に対して堅牢であることを示す。 また、命令チューニングにより、Mambaモデルはこのギャップを81%に、Mamba-2モデルはこのギャップを132%に制限できることを示す。
  論文  参考訳（メタデータ） (2024-05-31T21:46:23Z)
• Is Mamba Capable of In-Context Learning? [63.682741783013306]
  GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T16:39:12Z)
• BlackMamba: Mixture of Experts for State-Space Models [10.209192169793772]
  状態空間モデル(SSM)は、最近、大規模な言語モデリングベンチマークでトランスフォーマーと競合する性能を示した。 MoEモデルは、計算コストと遅延コストを大幅に削減しながら、顕著なパフォーマンスを示している。 我々は,Mamba SSMとMoEを組み合わせた新しいアーキテクチャであるBlackMambaを紹介した。
  論文  参考訳（メタデータ） (2024-02-01T07:15:58Z)
• SegMamba: Long-range Sequential Modeling Mamba For 3D Medical Image Segmentation [16.476244833079182]
  我々は,新しい3次元医用画像textbfSegmentation textbfMambaモデルであるSegMambaを紹介した。 SegMambaは、状態空間モデルの観点から、全ボリューム特徴モデリングに優れています。 BraTS2023データセットの実験では、SegMambaの有効性と効率が示されている。
  論文  参考訳（メタデータ） (2024-01-24T16:17:23Z)
• Mamba: Linear-Time Sequence Modeling with Selective State Spaces [31.985243136674146]
  ファンデーションモデルは、ほぼ普遍的にTransformerアーキテクチャとコアアテンションモジュールに基づいている。 このようなモデルの重大な弱点は、コンテンツベースの推論を実行できないことである。 我々はこれらの選択的なSSMを、注意やブロック(Mamba)を使わずに、単純化されたエンドツーエンドニューラルネットワークアーキテクチャに統合する(Mamba)。 一般的なシーケンスモデルバックボーンとして、Mambaは言語、オーディオ、ゲノミクスといったいくつかのモードで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T18:01:34Z)
• MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers [78.85346970193518]
  Megabyteは、100万バイトを超えるシーケンスのエンドツーエンドで微分可能なモデリングを可能にするマルチスケールデコーダアーキテクチャである。 実験によると、Megabyteはバイトレベルのモデルで、長い文脈言語モデリングのサブワードモデルと競合することを可能にする。 その結果、トークン化のない自己回帰配列を大規模にモデル化できる可能性が確立された。
  論文  参考訳（メタデータ） (2023-05-12T00:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。