論文の概要: Enhancing Long Context Performance in LLMs Through Inner Loop Query Mechanism

• arxiv url: http://arxiv.org/abs/2410.12859v1
• Date: Fri, 11 Oct 2024 19:49:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:21:23.684025
• Title: Enhancing Long Context Performance in LLMs Through Inner Loop Query Mechanism
• Title（参考訳）: 内ループクエリ機構によるLLMの長期性能向上
• Authors: Yimin Tang, Yurong Xu, Ning Yan, Masood Mortazavi,
• Abstract要約: 変換器は入力サイズと計算複雑性の2次スケーリングを持つ。 Retrieval-augmented Generation (RAG)は、検索システムを使用することで、より長いコンテキストを処理できる。 インナーループメモリ拡張ツリー検索(ILM-TR)という新しい手法を導入する。
• 参考スコア（独自算出の注目度）: 2.919891871101241
• License:
• Abstract: Transformers have a quadratic scaling of computational complexity with input size, which limits the input context window size of large language models (LLMs) in both training and inference. Meanwhile, retrieval-augmented generation (RAG) besed models can better handle longer contexts by using a retrieval system to filter out unnecessary information. However, most RAG methods only perform retrieval based on the initial query, which may not work well with complex questions that require deeper reasoning. We introduce a novel approach, Inner Loop Memory Augmented Tree Retrieval (ILM-TR), involving inner-loop queries, based not only on the query question itself but also on intermediate findings. At inference time, our model retrieves information from the RAG system, integrating data from lengthy documents at various levels of abstraction. Based on the information retrieved, the LLM generates texts stored in an area named Short-Term Memory (STM) which is then used to formulate the next query. This retrieval process is repeated until the text in STM converged. Our experiments demonstrate that retrieval with STM offers improvements over traditional retrieval-augmented LLMs, particularly in long context tests such as Multi-Needle In A Haystack (M-NIAH) and BABILong.
• Abstract（参考訳）: トランスフォーマーは、入力サイズと計算複雑性の2次スケーリングを持ち、トレーニングと推論の両方において、大きな言語モデル(LLM)の入力コンテキストウィンドウサイズを制限する。 一方、検索強化生成モデル(RAG)は、検索システムを用いて不要な情報をフィルタリングすることで、より長いコンテキストを扱うことができる。 しかしながら、ほとんどのRAGメソッドは初期クエリに基づいてのみ検索を行うが、より深い推論を必要とする複雑な質問ではうまくいかない可能性がある。 本稿では,内部ループクエリを含む内部ループメモリ拡張ツリー検索法 (ILM-TR) を提案する。 推測時,提案モデルはRAGシステムから情報を取得し,様々な抽象化レベルで長い文書からデータを統合する。 検索された情報に基づいて、LLMはSTM(Short-Term Memory)と呼ばれる領域に格納されたテキストを生成し、次にクエリを定式化する。 この検索プロセスは、STMのテキストが収束するまで繰り返される。 実験の結果,STMによる検索は従来のLLMよりも改善され,特にM-NIAHやBABILongのような長期の文脈テストでは改善が見られた。

関連論文リスト

• MM-Embed: Universal Multimodal Retrieval with Multimodal LLMs [78.5013630951288]
  本稿では,マルチモーダル大言語モデル(MLLM)を用いた情報検索手法を提案する。 まず,16個の検索タスクを持つ10個のデータセットに対して,MLLMをバイエンコーダレトリバーとして微調整する。 我々は,MLLMレトリバーが提示するモダリティバイアスを軽減するために,モダリティを考慮したハードネガティブマイニングを提案する。
  論文  参考訳（メタデータ） (2024-11-04T20:06:34Z)
• Better RAG using Relevant Information Gain [1.5604249682593647]
  大きな言語モデル(LLM)のメモリを拡張する一般的な方法は、検索拡張生成(RAG)である。 本稿では,検索結果の集合に対するクエリに関連する総情報の確率的尺度である,関連情報ゲインに基づく新しい単純な最適化指標を提案する。 RAGシステムの検索コンポーネントのドロップイン置換として使用すると、質問応答タスクにおける最先端のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2024-07-16T18:09:21Z)
• LightPAL: Lightweight Passage Retrieval for Open Domain Multi-Document Summarization [9.739781953744606]
  Open-Domain Multi-Document Summarization (ODMDS)は、ユーザクエリに応答して巨大なドキュメントコレクションから要約を生成するタスクである。 ODMDSタスクのオープンエンドクエリでは、従来の検索列サマリズアプローチは不足している。 ODMDSの軽量パス検索手法であるLightPALを提案する。
  論文  参考訳（メタデータ） (2024-06-18T10:57:27Z)
• Toward Conversational Agents with Context and Time Sensitive Long-term Memory [8.085414868117917]
  最近まで、RAGに関するほとんどの研究は、ウィキペディアのような巨大なテキストデータベースからの情報検索に重点を置いてきた。 我々は,静的なデータベース検索と比較して,長文の対話データからの効果的な検索は2つの問題に直面していると論じる。 我々は、最近の長文でシミュレートされた会話のデータセットの上に構築された、あいまいで時間に基づく質問の新しいデータセットを生成する。
  論文  参考訳（メタデータ） (2024-05-29T18:19:46Z)
• Question-Based Retrieval using Atomic Units for Enterprise RAG [3.273958158967657]
  エンタープライズ検索拡張生成(RAG)は、強力な大規模言語モデル(LLM)を内部的、あるいは時間的に変化する文書と組み合わせるための柔軟なフレームワークを提供する。 この研究は、より正確なチャンクリのために、標準密度検索ステップのゼロショット適応を適用した。
  論文  参考訳（メタデータ） (2024-05-20T20:27:00Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• Query2doc: Query Expansion with Large Language Models [69.9707552694766]
  提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。 また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
  論文  参考訳（メタデータ） (2023-03-14T07:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。