論文の概要: GEM-RAG: Graphical Eigen Memories For Retrieval Augmented Generation
- arxiv url: http://arxiv.org/abs/2409.15566v1
- Date: Mon, 23 Sep 2024 21:42:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 12:23:41.916160
- Title: GEM-RAG: Graphical Eigen Memories For Retrieval Augmented Generation
- Title（参考訳）: GEM-RAG:検索機能強化のためのグラフィカルな固有メモリ
- Authors: Brendan Hogan Rappazzo, Yingheng Wang, Aaron Ferber, Carla Gomes,
- Abstract要約: 検索拡張生成のためのグラフィカル固有メモリ(GEM-RAG)について紹介する。
GEM-RAG は LLM が生成したユーティリティの質問を与えられたテキストコーパスにタグ付けすることで機能する。
我々は,UnifiedQA と GPT-3.5 Turbo を LLM として,SBERT を用いた GEM-RAG と OpenAI のテキストエンコーダを2つの標準QA タスクで評価した。
- 参考スコア（独自算出の注目度）: 3.2027710059627545
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to form, retrieve, and reason about memories in response to stimuli serves as the cornerstone for general intelligence - shaping entities capable of learning, adaptation, and intuitive insight. Large Language Models (LLMs) have proven their ability, given the proper memories or context, to reason and respond meaningfully to stimuli. However, they are still unable to optimally encode, store, and retrieve memories - the ability to do this would unlock their full ability to operate as AI agents, and to specialize to niche domains. To remedy this, one promising area of research is Retrieval Augmented Generation (RAG), which aims to augment LLMs by providing them with rich in-context examples and information. In question-answering (QA) applications, RAG methods embed the text of interest in chunks, and retrieve the most relevant chunks for a prompt using text embeddings. Motivated by human memory encoding and retrieval, we aim to improve over standard RAG methods by generating and encoding higher-level information and tagging the chunks by their utility to answer questions. We introduce Graphical Eigen Memories For Retrieval Augmented Generation (GEM-RAG). GEM-RAG works by tagging each chunk of text in a given text corpus with LLM generated ``utility'' questions, connecting chunks in a graph based on the similarity of both their text and utility questions, and then using the eigendecomposition of the memory graph to build higher level summary nodes that capture the main themes of the text. We evaluate GEM-RAG, using both UnifiedQA and GPT-3.5 Turbo as the LLMs, with SBERT, and OpenAI's text encoders on two standard QA tasks, showing that GEM-RAG outperforms other state-of-the-art RAG methods on these tasks. We also discuss the implications of having a robust RAG system and future directions.
- Abstract（参考訳）: 刺激に反応して記憶を形成、回収、推論する能力は、一般知能の基盤となり、学習、適応、直感的な洞察力を持つ実体を形成する。
LLM(Large Language Models)は、適切な記憶や文脈が与えられ、刺激に対して意味のある反応をすることができることを証明している。
しかし、メモリを最適にエンコードし、保存し、取り出すことはできない。これを行う能力は、AIエージェントとして動作し、ニッチなドメインを専門化する能力を完全に解放する。
これを改善するために、ある有望な研究分野は、リッチなインコンテキストの例と情報を提供することでLLMを増強することを目的とした検索拡張生成(RAG)である。
QAアプリケーションでは、RAGメソッドが関心のテキストをチャンクに埋め込み、テキスト埋め込みを使用してプロンプトに最も関連性の高いチャンクを検索する。
人間のメモリエンコーディングと検索によって動機づけられた我々は,高レベルな情報を生成・符号化し,それらのユーティリティによってチャンクをタグ付けして質問に答えることにより,標準的なRAG手法よりも改善することを目指している。
本稿では,検索機能向上のためのグラフィカル固有メモリ (GEM-RAG) について紹介する。
GEM-RAGは、与えられたテキストコーパス内の各テキストチャンクに ``utility'' の質問を生成し、テキストとユーティリティの両方の質問の類似性に基づいてグラフ内のチャンクを接続し、メモリグラフの固有分解を使用して、テキストのメインテーマをキャプチャする上位の要約ノードを構築する。
我々は,UnifiedQA と GPT-3.5 Turbo を LLM として,SBERT と OpenAI のテキストエンコーダを2つの標準 QA タスクで評価し,GEM-RAG が他の最先端 RAG メソッドよりも優れていることを示す。
また、ロバストなRAGシステムと今後の方向性についても論じる。
関連論文リスト
- G-RAG: Knowledge Expansion in Material Science [0.0]
Graph RAGはグラフデータベースを統合して、検索プロセスを強化する。
文書のより詳細な表現を実現するために,エージェントベースの解析手法を実装した。
論文 参考訳（メタデータ） (2024-11-21T21:22:58Z) - LLM-Ref: Enhancing Reference Handling in Technical Writing with Large Language Models [4.1180254968265055]
LLM-Refは、研究者が複数のソース文書から記事を書くのを補助する記述支援ツールである。
チャンキングとインデックスを使用する従来のRAGシステムとは異なり、私たちのツールはテキスト段落から直接コンテンツを検索し、生成します。
我々の手法は、RAGシステムの正確で関連性があり、文脈的に適切な応答を生成する能力の全体像を提供する総合的な指標である、Ragasスコアの3.25タイムから6.26タイムの上昇を達成する。
論文 参考訳（メタデータ） (2024-11-01T01:11:58Z) - Developing Retrieval Augmented Generation (RAG) based LLM Systems from PDFs: An Experience Report [3.4632900249241874]
本稿では,PDF文書を主データ源とする検索拡張生成システム(RAG)の開発経験報告について述べる。
RAGアーキテクチャは、Large Language Models (LLM) の生成能力と情報検索の精度を組み合わせたものである。
この研究の実際的な意味は、様々な分野における生成AIシステムの信頼性を高めることである。
論文 参考訳（メタデータ） (2024-10-21T12:21:49Z) - VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。
本稿では,視覚言語モデル(VLM)に基づくRAGパイプラインを構築することで,この問題に対処するVisRAGを紹介する。
このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
論文 参考訳（メタデータ） (2024-10-14T15:04:18Z) - Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。
具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。
さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
論文 参考訳（メタデータ） (2024-10-11T14:03:29Z) - Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation [65.23793829741014]
Embodied-RAGは、非パラメトリックメモリシステムによるエンボディエージェントのモデルを強化するフレームワークである。
コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。
Embodied-RAGがRAGをロボット領域に効果的にブリッジし、200以上の説明とナビゲーションクエリをうまく処理できることを実証する。
論文 参考訳（メタデータ） (2024-09-26T21:44:11Z) - MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery [24.38640001674072]
Retrieval-Augmented Generation (RAG)は、検索ツールを利用して外部データベースにアクセスする。
既存のRAGシステムは主に簡単な質問応答タスクに有効である。
本稿では,MemoRAGを提案する。
論文 参考訳（メタデータ） (2024-09-09T13:20:31Z) - Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context [4.1229332722825]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳（メタデータ） (2024-01-23T11:25:34Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳（メタデータ） (2023-10-17T18:18:32Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳（メタデータ） (2023-05-31T03:18:03Z) - KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
知識集約型言語タスク(KILT)のベンチマークを示す。
KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。
共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
論文 参考訳（メタデータ） (2020-09-04T15:32:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。