論文の概要: Efficient Length-Generalizable Attention via Causal Retrieval for Long-Context Language Modeling

• arxiv url: http://arxiv.org/abs/2410.01651v2
• Date: Mon, 27 Jan 2025 07:08:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:52:46.675232
• Title: Efficient Length-Generalizable Attention via Causal Retrieval for Long-Context Language Modeling
• Title（参考訳）: 長期言語モデリングのための因果検索による効率よい長さ一般化型注意
• Authors: Xiang Hu, Zhihao Teng, Jun Zhao, Wei Wu, Kewei Tu,
• Abstract要約: Grouped Cross Attentionは、トレーニング前のコンテキスト長の1000倍に一般化することができる。 実験により,16Mコンテキスト長のパスキー検索において,GAAに基づくモデルがほぼ完全であることが示された。
• 参考スコア（独自算出の注目度）: 42.67141329779589
• License:
• Abstract: Despite the success of Transformers, handling long contexts remains challenging due to the limited length generalization and quadratic complexity of self-attention. Thus Transformers often require post-training with a larger attention window, significantly increasing computational and memory costs. In this paper, we propose a novel attention mechanism based on dynamic context, Grouped Cross Attention (GCA), which can generalize to 1000 times the pre-training context length while maintaining the ability to access distant information with a constant attention window size. For a given input sequence, we split it into chunks and use each chunk to retrieve top-k relevant past chunks for subsequent text generation. Specifically, unlike most previous works that use an off-the-shelf retriever, our key innovation allows the retriever to learn how to retrieve past chunks that better minimize the auto-regressive loss of subsequent tokens in an end-to-end manner. Such a mechanism accommodates retrieved chunks with a fixed-size attention window to achieve long-range information access, significantly reducing computational and memory costs during training and inference. Experiments show that GCA-based models achieve near-perfect accuracy in passkey retrieval for 16M context lengths, which is 1000 times the training length.
• Abstract（参考訳）: トランスフォーマーの成功にもかかわらず、長さの一般化と自己注意の二次的な複雑さのため、長いコンテキストを扱うことは依然として困難である。 したがって、トランスフォーマーは、より大きな注意窓を持つポストトレーニングを必要とすることが多く、計算とメモリのコストが大幅に増加する。 本稿では,動的コンテキストに基づく新しいアテンション機構であるグループ・クロス・アテンション(GCA)を提案する。これは,一定のアテンションウィンドウサイズで遠隔情報にアクセスする能力を維持しつつ,トレーニング前のコンテキスト長の1000倍に一般化することができる。 与えられた入力シーケンスに対して、各チャンクをチャンクに分割し、各チャンクを使用して、後続のテキスト生成のために、トップkに関連する過去のチャンクを検索する。 特に、オフザシェルフレトリバーを使ったこれまでのほとんどの作品とは異なり、我々の重要なイノベーションは、レトリバーが過去のチャンクを検索する方法を学ぶことを可能にすることで、後続のトークンの自己回帰的損失をエンドツーエンドに抑えることができる。 このようなメカニズムは、取得したチャンクに一定の大きさの注意窓を設けて、長距離情報アクセスを実現し、トレーニングや推論の際の計算コストとメモリコストを大幅に削減する。 実験により, GCAを用いたモデルでは, トレーニング長の1000倍である16Mコンテキスト長のパスキー検索において, ほぼ完璧な精度が得られた。

関連論文リスト

• Learning to Retrieve Iteratively for In-Context Learning [56.40100968649039]
  イテレーティブ検索は、ポリシー最適化によるイテレーティブな意思決定を可能にする、新しいフレームワークである。 テキスト内学習例を構成するための反復型検索器をインスタンス化し,様々な意味解析タスクに適用する。 ステートエンコーディングのためのパラメータを4M追加するだけで、オフザシェルフの高密度レトリバーをステートフル反復レトリバーに変換する。
  論文  参考訳（メタデータ） (2024-06-20T21:07:55Z)
• Simple and Scalable Strategies to Continually Pre-train Large Language Models [20.643648785602462]
  大規模言語モデル(LLM)は、数十億のトークンで定期的に事前訓練されるが、新しいデータが利用可能になると、プロセスを再開する。 学習率のリウォーミング、LR再計算、過去のデータのリプレイをシンプルかつスケーラブルに組み合わせることで、スクラッチから完全に再学習する性能に匹敵することを示す。
  論文  参考訳（メタデータ） (2024-03-13T17:58:57Z)
• Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval [50.47192086219752]
  $texttABEL$は、ゼロショット設定でのパス検索を強化するための、シンプルだが効果的な教師なしのメソッドである。 ラベル付きデータに対して$texttABEL$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T06:22:57Z)
• MiLe Loss: a New Loss for Mitigating the Bias of Learning Difficulties in Generative Language Models [40.992566245706996]
  トークンによる学習難易度を緩和するMiLe Loss関数を提案する。 我々は468M,1.2B,6.7Bパラメータの異なるスケールで生成言語モデルを訓練する。 実験により、提案されたMiLe Lossを組み込んだモデルが下流ベンチマークで一貫したパフォーマンス向上を達成できることが明らかになった。
  論文  参考訳（メタデータ） (2023-10-30T13:33:21Z)
• Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval [51.437420003471615]
  本稿では,検索拡張LMをゼロから共同で訓練するためのアーキテクチャおよび訓練手順であるRetrieval-Pretrained Transformer (RPT)を提案する。 RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
  論文  参考訳（メタデータ） (2023-06-23T10:18:02Z)
• Generate to Understand for Representation [3.5325087487696463]
  GURは、言語モデリングと対照的な学習目標を単一のトレーニングステップで組み合わせた事前トレーニングフレームワークである。 GURはラベル付きトレーニングデータなしで印象的な結果を実現し、ゼロショット設定でリコールベンチマークでレシーバーとして、トレーニング済みのすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-06-14T06:00:18Z)
• Characterizing Attribution and Fluency Tradeoffs for Retrieval-Augmented Large Language Models [6.425088990363101]
  本研究では, 大規模言語モデルにおけるフラレンシと帰属の関係について検討した。 より大きなモデルは、流布と帰属の両方において、より優れた結果をもたらす傾向があることを示す。 そこで本研究では,より小さなモデルで大きなモデルとのギャップを埋めることと,トップk検索のメリットを両立できるレシピを提案する。
  論文  参考訳（メタデータ） (2023-02-11T02:43:34Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。