論文の概要: FragRel: Exploiting Fragment-level Relations in the External Memory of Large Language Models

• arxiv url: http://arxiv.org/abs/2406.03092v1
• Date: Wed, 5 Jun 2024 09:31:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:09:42.986222
• Title: FragRel: Exploiting Fragment-level Relations in the External Memory of Large Language Models
• Title（参考訳）: FragRel: 大規模言語モデルの外部記憶におけるフラグメントレベルの関係の爆発
• Authors: Xihang Yue, Linchao Zhu, Yi Yang,
• Abstract要約: 断片接続型階層型メモリベース大規模言語モデル(LLM)を提案する。 外部メモリにおけるフラグメントレベルの関係を定式化し、異なるテキストタイプに対していくつかのインスタンスを提示する。 長いストーリー理解、リポジトリレベルのコード生成、長期チャットにこれらの関係を組み込むことの利点を検証する。
• 参考スコア（独自算出の注目度）: 54.13671100638092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To process contexts with unlimited length using Large Language Models (LLMs), recent studies explore hierarchically managing the long text. Only several text fragments are taken from the external memory and passed into the temporary working memory, i.e., LLM's context window. However, existing approaches isolatedly handle the text fragments without considering their structural connections, thereby suffering limited capability on texts with intensive inter-relations, e.g., coherent stories and code repositories. This work attempts to resolve this by exploiting the fragment-level relations in external memory. First, we formulate the fragment-level relations and present several instantiations for different text types. Next, we introduce a relation-aware fragment assessment criteria upon previous independent fragment assessment. Finally, we present the fragment-connected Hierarchical Memory based LLM. We validate the benefits of involving these relations on long story understanding, repository-level code generation, and long-term chatting.
• Abstract（参考訳）: LLM(Large Language Models)を用いて文脈を無制限に処理するために,近年の研究では,長文の階層的管理について検討している。 外部メモリからいくつかのテキストフラグメントが取り出され、一時的なワーキングメモリ、すなわちLLMのコンテキストウィンドウに渡される。 しかし、既存のアプローチは、構造的な接続を考慮せずに、テキストフラグメントを分離して扱うため、集中的な相互関係を持つテキスト、例えばコヒーレントなストーリーやコードリポジトリに制限がある。 この研究は、外部メモリのフラグメントレベルの関係を利用して、この問題を解決する。 まず、フラグメントレベルの関係を定式化し、異なるテキストタイプに対していくつかのインスタンスを提示する。 次に, 従来の独立フラグメント評価において, 関連性を考慮したフラグメント評価基準を導入する。 最後に,フラグメント接続型階層記憶型LLMを提案する。 長いストーリー理解、リポジトリレベルのコード生成、長期チャットにこれらの関係を組み込むことの利点を検証する。

関連論文リスト

• Needle in the Haystack for Memory Based Large Language Models [31.885539843977472]
  現在の大規模言語モデル(LLM)は、単純な事実検索タスクではよく機能しない。 動的に適応可能な外部メモリをLCMに結合することでこの問題を軽減することができるか検討する。 テキストサンプルのエピソードを高速に書き書きできるLarimarの外部メモリは、テスト時に、トレーニング中に見られるものよりもはるかに長いコンテキストを扱うために使用できることを示した。
  論文  参考訳（メタデータ） (2024-07-01T16:32:16Z)
• From Text Segmentation to Smart Chaptering: A Novel Benchmark for Structuring Video Transcriptions [63.11097464396147]
  音声コンテンツに焦点をあてた新しいベンチマークYTSegを導入し、その内容は本質的に非構造的であり、トポロジと構造的にも多様である。 また,高効率な階層分割モデルMiniSegを導入する。
  論文  参考訳（メタデータ） (2024-02-27T15:59:37Z)
• Extending Context Window of Large Language Models via Semantic Compression [21.35020344956721]
  大規模言語モデル(LLM)は、しばしば、流動的で関連する応答の生成を保証するために、テキスト入力の長さに制限を課す。 本稿では,テキストを6～8倍長大に一般化するセマンティック圧縮手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T07:04:33Z)
• Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading [63.93888816206071]
  我々は,長いコンテキストを要約ノードのツリーに処理する手法であるMemWalkerを紹介した。クエリを受信すると,モデルがこのツリーをナビゲートして関連する情報を検索し,十分な情報を収集すると応答する。 その結果,MemWalkerは,テキストを対話的に読み取る際の推論ステップを強調し,クエリに関連するテキストセグメントをピンポイントすることで,説明性の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-08T06:18:14Z)
• Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [75.98775135321355]
  長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
  論文  参考訳（メタデータ） (2023-08-29T04:59:53Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)
• ChapterBreak: A Challenge Dataset for Long-Range Language Models [36.54750186213335]
  章境界で終わる物語から長いセグメントのLRLMを提供する挑戦データセットである章Breakを紹介します。 詳細な人間のアノテーションから、私たちのデータセットには多くの複雑な章の遷移が含まれていることが分かる。 ChapterBreakの実験では、既存のLRLMは長距離コンテキストを効果的に活用できないことが示されている。
  論文  参考訳（メタデータ） (2022-04-22T18:20:23Z)
• SCROLLS: Standardized CompaRison Over Long Language Sequences [62.574959194373264]
  SCROLLSは長いテキストに対する推論を必要とするタスクのスイートである。 SCROLLSには要約、質問応答、自然言語推論タスクが含まれる。 すべてのデータセットを統一されたテキスト・ツー・テキスト形式で利用可能にし、モデルアーキテクチャと事前学習方法の研究を容易にするために、ライブのリーダーボードをホストします。
  論文  参考訳（メタデータ） (2022-01-10T18:47:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。