論文の概要: GLIMMER: generalized late-interaction memory reranker

• arxiv url: http://arxiv.org/abs/2306.10231v1
• Date: Sat, 17 Jun 2023 01:54:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 23:33:41.960266
• Title: GLIMMER: generalized late-interaction memory reranker
• Title（参考訳）: GLIMMER: 一般化された遅延動作メモリリランカ
• Authors: Michiel de Jong, Yury Zemlyanskiy, Nicholas FitzGerald, Sumit Sanghai, William W. Cohen, Joshua Ainslie
• Abstract要約: メモリ拡張は、外部情報を言語モデルに組み込むための強力なアプローチである。 LUMENはメモリを部分的にプリコンプリートし、より小さなライブエンコーダでメモリ表現を更新する。 GLIMMERは,1) メモリ上に浅い再ランカを適用して,高速で検索品質を劇的に向上させることにより,強力なメモリ表現への自由アクセスを活用できる。
• 参考スコア（独自算出の注目度）: 29.434777627686692
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memory-augmentation is a powerful approach for efficiently incorporating external information into language models, but leads to reduced performance relative to retrieving text. Recent work introduced LUMEN, a memory-retrieval hybrid that partially pre-computes memory and updates memory representations on the fly with a smaller live encoder. We propose GLIMMER, which improves on this approach through 1) exploiting free access to the powerful memory representations by applying a shallow reranker on top of memory to drastically improve retrieval quality at low cost, and 2) incorporating multi-task training to learn a general and higher quality memory and live encoder. GLIMMER achieves strong gains in performance at faster speeds compared to LUMEN and FiD on the KILT benchmark of knowledge-intensive tasks.
• Abstract（参考訳）: メモリオーグメンテーションは、外部情報を言語モデルに効率的に組み込むための強力なアプローチであるが、テキスト検索に比べて性能が低下する。 LUMENはメモリを部分的にプリコンプリートし、より小さなライブエンコーダでメモリ表現を更新する。 このアプローチを改良したGLIMMERを提案する。 1) メモリ上に浅い再ランカを適用して強力なメモリ表現への自由アクセスを利用して、低コストで検索品質を大幅に向上させ、 2) 汎用的で高品質なメモリとライブエンコーダを学ぶためのマルチタスクトレーニングの導入。 GLIMMERは、知識集約型タスクのKILTベンチマークにおけるLUMENやFiDと比較して、高速な性能向上を実現している。

関連論文リスト

• Breaking Memory Limits: Gradient Wavelet Transform Enhances LLMs Training [45.225732322141994]
  大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで優れたパフォーマンスを発揮する。 彼らの膨大な数のパラメータは、トレーニング中に大きな記憶障害を引き起こします。 既存のメモリ効率のアルゴリズムは、特異値分解プロジェクションや重み凍結のような技術に依存していることが多い。 本稿では,グラディエントウェーブレット変換(GWT)と呼ばれる新しい解を提案する。
  論文  参考訳（メタデータ） (2025-01-13T11:35:09Z)
• Memory Layers at Scale [67.00854080570979]
  この研究はメモリ層を概念実証以上のものにし、現代の規模でその有用性を証明している。 ダウンストリームタスクでは、改善されたメモリ層で強化された言語モデルは、予算の2倍以上の高密度モデルよりも優れており、計算とパラメータの両方にマッチする場合の熟練モデルの混合も優れている。 最大128Bのメモリパラメータを持つスケーリング法則を1兆トークンまで事前訓練し,最大8Bパラメータを持つベースモデルと比較した,完全な並列化可能なメモリレイヤの実装を提供する。
  論文  参考訳（メタデータ） (2024-12-12T23:56:57Z)
• MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training [24.066283519769968]
  大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。 本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。 MeMOはMegatron-LMやDeepSpeedと比べて平均1.97倍と1.80倍のMFUを達成している。
  論文  参考訳（メタデータ） (2024-07-16T18:59:49Z)
• $\text{Memory}^3$: Language Modeling with Explicit Memory [22.572376536612015]
  我々は、大言語モデル(LLM)に明示的なメモリ、モデルパラメータよりも安いメモリフォーマット、テキスト検索拡張生成(RAG)を装備する。 予備的な概念実証として, 2.4B LLM をゼロからトレーニングし, より大きな LLM モデルやRAG モデルよりも優れた性能を実現する。 本稿では,知識の外部化を支援するメモリ回路理論を導入し,記憶をトラクタブルにするメモリスペーサー化機構を含む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T11:07:23Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,大規模言語モデル(LLM)の拡張手法であるMemLLMを紹介する。 実験の結果, 言語モデリング, 特に知識集約型タスクにおいて, MemLLMはLLMの性能と解釈可能性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• MEMORY-VQ: Compression for Tractable Internet-Scale Memory [45.7528997281282]
  LUMENのようなメモリベースのメソッドは、検索されたパスのトークン表現を事前に計算し、推論を大幅に高速化する。 本稿では,メモリ拡張モデルのストレージ要求を,性能を犠牲にすることなく低減する新しい方法であるMEMORY-VQを提案する。
  論文  参考訳（メタデータ） (2023-08-28T21:11:18Z)
• Augmenting Language Models with Long-Term Memory [142.04940250657637]
  既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。 本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:13:39Z)
• Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory [72.36736686941671]
  本稿では,検索拡張生成モデルを改善するための新しいフレームワーク,Selfmemを提案する。 Selfmemは、検索拡張ジェネレータを反復的に使用して、無制限のメモリプールを生成し、メモリセレクタを使用して、続く生成ラウンドの1つの出力をメモリとして選択する。 我々は,3つの異なるテキスト生成タスクにおける自己メモの有効性を評価する。
  論文  参考訳（メタデータ） (2023-05-03T21:40:54Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。