論文の概要: Implementing Streaming algorithm and k-means clusters to RAG

• arxiv url: http://arxiv.org/abs/2407.21300v3
• Date: Sat, 7 Sep 2024 15:02:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 01:25:35.344109
• Title: Implementing Streaming algorithm and k-means clusters to RAG
• Title（参考訳）: ストリームアルゴリズムとk平均クラスタをRAGに実装する
• Authors: Haoyu Kang, Yuzhou Zhu, Yukun Zhong, Ke Wang,
• Abstract要約: 本稿では,ストリーミングアルゴリズムとk-meansクラスタリングを組み合わせた新しいアプローチを提案する。 提案手法では,動的にインデックスを更新し,メモリ消費を削減するためにストリーミングアルゴリズムを適用した。 その結果,ストリーミングアルゴリズムとk平均クラスタを用いたRAGは,従来のRAGよりも精度とメモリが優れていた。
• 参考スコア（独自算出の注目度）: 2.5251537417183028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) has achieved significant success in information retrieval to assist large language models LLMs because it builds an external knowledge database. However, it also has many problems, it consumes a lot of memory because of the enormous database, and it cannot update the established index database in time when confronted with massive streaming data. To reduce the memory required for building the database and maintain accuracy simultaneously, we proposed a new approach integrating a streaming algorithm with k-means clustering into RAG. Our approach applied a streaming algorithm to update the index dynamically and reduce memory consumption. Additionally, the k-means algorithm clusters highly similar documents, and the query time would be shortened. We conducted comparative experiments on four methods, and the results indicated that RAG with streaming algorithm and k-means clusters outperforms traditional RAG in accuracy and memory, particularly when dealing with large-scale streaming data.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、外部知識データベースを構築するため、大規模言語モデルLLMを支援するために、情報検索において大きな成功を収めている。 しかし、多くの問題があり、巨大なデータベースのために大量のメモリを消費し、巨大なストリーミングデータに直面すると、確立したインデックスデータベースを更新できない。 データベース構築に必要なメモリを削減し、精度を同時に維持するために、ストリーミングアルゴリズムとk-meansクラスタリングをRAGに統合する新しいアプローチを提案する。 提案手法では,動的にインデックスを更新し,メモリ消費を削減するためにストリーミングアルゴリズムを適用した。 さらに、k-meansアルゴリズムは、非常に類似したドキュメントをクラスタリングし、クエリ時間を短縮する。 その結果,ストリーミングアルゴリズムとk平均クラスタを用いたRAGは,特に大規模ストリーミングデータを扱う場合,従来のRAGよりも精度とメモリが優れていた。

関連論文リスト

• SALSA-CLRS: A Sparse and Scalable Benchmark for Algorithmic Reasoning [20.706469085872516]
  本稿では、CLRSアルゴリズム学習ベンチマークの拡張、スケーラビリティの優先順位付け、スパース表現の利用について紹介する。 我々のアプローチには、オリジナルのCLRSベンチマークからの適応アルゴリズムが含まれており、分散およびランダム化アルゴリズムの新たな問題が導入されている。
  論文  参考訳（メタデータ） (2023-09-21T16:57:09Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Influence of Swarm Intelligence in Data Clustering Mechanisms [0.0]
  自然にインスパイアされたSwarmベースのアルゴリズムは、データの欠如と一貫性のない大規模なデータセットに対処するために、データクラスタリングに使用される。 本稿では、これらの新しいアプローチの性能を概観し、問題のある状況に最適な方法の比較を行う。
  論文  参考訳（メタデータ） (2023-05-07T08:40:50Z)
• How to Use K-means for Big Data Clustering? [2.1165011830664677]
  K-meansはEuclidean Minimum Sum-of-Squares Clustering (MSSC)モデルの下で最もシンプルで広く使われているアルゴリズムである。 ビッグデータクラスタリングにK-means++アルゴリズムとK-means++アルゴリズムを用いる並列方式を提案する。
  論文  参考訳（メタデータ） (2022-04-14T08:18:01Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Improved Multi-objective Data Stream Clustering with Time and Memory Optimization [0.0]
  本稿では,新しいデータストリームクラスタリング手法(IMOC-Stream)を提案する。 2つの異なる目的関数を使用して、データの異なる側面をキャプチャする。 実験により, 任意の形状, コンパクト, 分離されたクラスタにデータストリームを分割できることを示す。
  論文  参考訳（メタデータ） (2022-01-13T17:05:56Z)
• Meta Clustering Learning for Large-scale Unsupervised Person Re-identification [124.54749810371986]
  メタクラスタリング学習(MCL)と呼ばれる「大規模タスクのための小さなデータ」パラダイムを提案する。 MCLは、第1フェーズのトレーニングのためにコンピューティングを節約するためにクラスタリングを介して、未ラベルデータのサブセットを擬似ラベル付けするのみである。 提案手法は計算コストを大幅に削減すると同時に,従来よりも優れた性能を実現している。
  論文  参考訳（メタデータ） (2021-11-19T04:10:18Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Structured Inverted-File k-Means Clustering for High-Dimensional Sparse Data [2.487445341407889]
  本稿では,大規模かつ高次元スパースデータセットのためのアーキテクチャフレンドリーなk-meansクラスタリングアルゴリズムsivfを提案する。 性能解析の結果,sivfはキャッシュミス数と分岐予測の精度低下係数を低減し,高い速度を実現していることがわかった。
  論文  参考訳（メタデータ） (2021-03-30T07:54:02Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。