論文の概要: Mixture-of-PageRanks: Replacing Long-Context with Real-Time, Sparse GraphRAG
- arxiv url: http://arxiv.org/abs/2412.06078v1
- Date: Sun, 08 Dec 2024 21:55:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:56:02.185992
- Title: Mixture-of-PageRanks: Replacing Long-Context with Real-Time, Sparse GraphRAG
- Title（参考訳）: Mixture-of-PageRanks:Long-Context with Real-Time, Sparse GraphRAG
- Authors: Nicholas Alonso, Beren Millidge,
- Abstract要約: グラフに基づく検索アルゴリズムであるPageRankをベースとしたアルゴリズムを開発し,MixPR(Mix-of-PageRanks)と呼ぶ。
MixPRは、効率よく安価な検索のためにスパース行列を用いて実装されたPageRankベースのグラフ検索アルゴリズムの混合を使用する。
我々の検索システムは,幅広い長期コンテキストのベンチマークタスクに対して,最先端の結果を達成している。
- 参考スコア（独自算出の注目度）: 7.8553071988266385
- License:
- Abstract: Recent advances have extended the context window of frontier LLMs dramatically, from a few thousand tokens up to millions, enabling entire books and codebases to fit into context. However, the compute costs of inferencing long-context LLMs are massive and often prohibitive in practice. RAG offers an efficient and effective alternative: retrieve and process only the subset of the context most important for the current task. Although promising, recent work applying RAG to long-context tasks has two core limitations: 1) there has been little focus on making the RAG pipeline compute efficient, and 2) such works only test on simple QA tasks, and their performance on more challenging tasks is unclear. To address this, we develop an algorithm based on PageRank, a graph-based retrieval algorithm, which we call mixture-of-PageRanks (MixPR). MixPR uses a mixture of PageRank-based graph-retrieval algorithms implemented using sparse matrices for efficent, cheap retrieval that can deal with a variety of complex tasks. Our MixPR retriever achieves state-of-the-art results across a wide range of long-context benchmark tasks, outperforming both existing RAG methods, specialized retrieval architectures, and long-context LLMs despite being far more compute efficient. Due to using sparse embeddings, our retriever is extremely compute efficient, capable of embedding and retrieving millions of tokens within a few seconds and runs entirely on CPU.
- Abstract（参考訳）: 最近の進歩は、数千のトークンから数百万まで、フロンティアLSMのコンテキストウィンドウを劇的に拡張し、本やコードベース全体がコンテキストに適合できるようにしました。
しかし、長文LLMを推論する計算コストは膨大であり、実際は禁止されることが多い。
RAGは効率的で効果的な代替手段を提供する。現在のタスクで最も重要なコンテキストのサブセットのみを検索し、処理する。
有望ではあるが、最近の長期コンテキストタスクへのRAGの適用には2つのコア制限がある。
1)RAGパイプラインの効率的な計算にはほとんど焦点が当てられていない。
2) 単純なQAタスクでのみ動作し、より困難なタスクでのパフォーマンスは不明確である。
そこで我々はPageRankというグラフに基づく検索アルゴリズムを開発し,このアルゴリズムをMixPR(Mix-of-PageRanks)と呼ぶ。
MixPRは、スパース行列を用いて実装されたPageRankベースのグラフ検索アルゴリズムの混合を用いて、様々な複雑なタスクに対処できる、効率的で安価な検索を行う。
我々のMixPRレトリバーは、より計算効率が良いにもかかわらず、既存のRAG手法、特殊検索アーキテクチャ、および長期LLMよりも優れた、幅広い長文ベンチマークタスクの最先端結果を達成する。
スパース埋め込みを使用するため、リトリバーは非常に効率的で、数秒以内に数百万のトークンを埋め込んで取り出すことができ、CPU上で完全に動作します。
関連論文リスト
- An Effective Framework to Help Large Language Models Handle Numeric-involved Long-context Tasks [0.0]
大きな言語モデル(LLM)は、長いテキストを扱う際、顕著な能力を示した。
長文の数値計算では,その性能は著しく低下する。
本稿では,数値型長文タスクを4つの低レベルサブタスクに分解するワークフローを提案する。
2つの数値付き長期コンテキストベンチマークの結果は、ワークフローが精度を向上できるだけでなく、API呼び出しのコストを大幅に削減できることを示している。
論文 参考訳（メタデータ） (2024-11-15T12:39:02Z) - Graph of Records: Boosting Retrieval Augmented Generation for Long-context Summarization with Graphs [12.878608250420832]
長文大域要約のためのRAGを強化するために,レコードのテキストグラフ(textbfGoR)を提案する。
RAG のtextitretrieve-then-generate パラダイムに着想を得て,検索したテキストチャンクと対応する LLM 生成応答のエッジを確立することでグラフを構築する。
それら間の複雑な相関関係を明らかにするために、GoRは、テキストトグラフニューラルネットワークと、自己教師型モデルトレーニングのための、精巧に設計されたTextitBERTScoreベースの目的を特徴としている。
論文 参考訳（メタデータ） (2024-10-14T18:34:29Z) - GARLIC: LLM-Guided Dynamic Progress Control with Hierarchical Weighted Graph for Long Document QA [16.945257645760428]
過去には、Retrieval-Augmented Generation (RAG)メソッドがテキストをチャンクに分割して、長いドキュメントを扱う言語モデルを実現していた。
近年のツリーベースRAG法では,グローバルなコンテキストを保ちながら詳細な情報を取得することができる。
階層重みグラフ(GARLIC)を用いた LLM-Guided Dynamic Progress Control と呼ばれる新しい検索手法を提案する。
論文 参考訳（メタデータ） (2024-10-07T07:02:09Z) - You Only Use Reactive Attention Slice For Long Context Retrieval [33.712515776334016]
LLM(Large Language Models)のより長いコンテキストのサポートは、LLMを前進させる有望な方向である。
注意に基づく検索手法YOURA(reactive Attention slice)を提案する。
提案手法は,長文クエリに対して最大30%のvLLM推論スループットを向上する。
論文 参考訳（メタデータ） (2024-09-03T15:30:57Z) - RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation [54.707460684650584]
大きな言語モデル(LLM)は対話、推論、知識保持における人間レベルの能力を示す。
現在の研究は、LLMに外部知識を組み込むことによって、このボトルネックに対処している。
RAGLABはモジュール的で研究指向のオープンソースライブラリで、6つの既存のアルゴリズムを再現し、RAGアルゴリズムを調査するための包括的なエコシステムを提供する。
論文 参考訳（メタデータ） (2024-08-21T07:20:48Z) - KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である
この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
論文 参考訳（メタデータ） (2024-07-01T17:59:47Z) - Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。
HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。
トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
論文 参考訳（メタデータ） (2024-04-16T06:34:08Z) - Improving Retrieval for RAG based Question Answering Models on Financial Documents [0.046603287532620746]
本稿では,RAGパイプラインの既存の制約について検討し,テキスト検索の方法を紹介する。
高度なチャンキングテクニック、クエリ拡張、メタデータアノテーションの組み込み、再ランク付けアルゴリズムの適用、埋め込みアルゴリズムの微調整などの戦略を練っている。
論文 参考訳（メタデータ） (2024-03-23T00:49:40Z) - Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。
テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。
LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。
提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文 参考訳（メタデータ） (2024-02-27T14:21:56Z) - Reinforcement Learning for Branch-and-Bound Optimisation using
Retrospective Trajectories [72.15369769265398]
機械学習は分岐のための有望なパラダイムとして登場した。
分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。
我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
論文 参考訳（メタデータ） (2022-05-28T06:08:07Z) - CATCH: Context-based Meta Reinforcement Learning for Transferrable
Architecture Search [102.67142711824748]
CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。
メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。
また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
論文 参考訳（メタデータ） (2020-07-18T09:35:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。