論文の概要: Implementing Streaming algorithm and k-means clusters to RAG

• arxiv url: http://arxiv.org/abs/2407.21300v2
• Date: Sun, 4 Aug 2024 04:04:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 19:59:40.908770
• Title: Implementing Streaming algorithm and k-means clusters to RAG
• Title（参考訳）: ストリームアルゴリズムとk平均クラスタをRAGに実装する
• Authors: Haoyu Kang, Yuzhou Zhu, Yukun Zhong, Ke Wang,
• Abstract要約: Retrieval-augmented Generation (RAG) は,大規模言語モデルを支援する情報検索において大きな成功を収めている。 RAGは、巨大なストリーミングデータに直面すると、確立したインデックスデータベースを更新できない。 本稿では,ストリーミングアルゴリズムとk-meansクラスタとRAGを組み合わせた新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 2.5251537417183028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) has achieved great success in information retrieval to assist large language models because it builds an external knowledge database. However, it also has many problems: it consumes a lot of memory because of the huge database. When faced with massive streaming data, it is unable to update the established index database in time. To save the memory of building the database and maintain accuracy simultaneously, we proposed a new approach combining a streaming algorithm and k-means cluster with RAG. Our approach applies a streaming algorithm to update the index and reduce memory consumption. Then use the k-means algorithm to cluster documents with high similarities together, the query time will be shortened by doing this. We conducted comparative experiments on four methods, and the results show that RAG with streaming algorithm and k-means cluster performs well in accuracy and memory. For massive streaming data, we find that our method behaves better than traditional RAG
• Abstract（参考訳）: 検索言語拡張世代(RAG)は,外部知識データベースを構築するため,大規模言語モデルを支援する情報検索において大きな成功を収めている。 しかし、巨大なデータベースのために大量のメモリを消費するなど、多くの問題がある。 巨大なストリーミングデータに直面した場合には、確立したインデックスデータベースを時間内に更新することはできない。 データベース構築のメモリを節約し、精度を同時に維持するために、ストリーミングアルゴリズムとk-meansクラスタをRAGと組み合わせた新しいアプローチを提案する。 我々の手法は、インデックスを更新し、メモリ消費を減らすためにストリーミングアルゴリズムを適用している。 次に、k-meansアルゴリズムを用いて、高い類似性を持つドキュメントをクラスタリングし、クエリ時間を短縮する。 提案手法の比較実験により,ストリーミングアルゴリズムとk平均クラスタを用いたRAGが精度とメモリにおいて良好に動作することを示した。 大規模ストリーミングデータの場合、従来のRAGよりも動作がよいことが分かりました。

関連論文リスト

• SALSA-CLRS: A Sparse and Scalable Benchmark for Algorithmic Reasoning [20.706469085872516]
  本稿では、CLRSアルゴリズム学習ベンチマークの拡張、スケーラビリティの優先順位付け、スパース表現の利用について紹介する。 我々のアプローチには、オリジナルのCLRSベンチマークからの適応アルゴリズムが含まれており、分散およびランダム化アルゴリズムの新たな問題が導入されている。
  論文  参考訳（メタデータ） (2023-09-21T16:57:09Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Influence of Swarm Intelligence in Data Clustering Mechanisms [0.0]
  自然にインスパイアされたSwarmベースのアルゴリズムは、データの欠如と一貫性のない大規模なデータセットに対処するために、データクラスタリングに使用される。 本稿では、これらの新しいアプローチの性能を概観し、問題のある状況に最適な方法の比較を行う。
  論文  参考訳（メタデータ） (2023-05-07T08:40:50Z)
• How to Use K-means for Big Data Clustering? [2.1165011830664677]
  K-meansはEuclidean Minimum Sum-of-Squares Clustering (MSSC)モデルの下で最もシンプルで広く使われているアルゴリズムである。 ビッグデータクラスタリングにK-means++アルゴリズムとK-means++アルゴリズムを用いる並列方式を提案する。
  論文  参考訳（メタデータ） (2022-04-14T08:18:01Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Improved Multi-objective Data Stream Clustering with Time and Memory Optimization [0.0]
  本稿では,新しいデータストリームクラスタリング手法(IMOC-Stream)を提案する。 2つの異なる目的関数を使用して、データの異なる側面をキャプチャする。 実験により, 任意の形状, コンパクト, 分離されたクラスタにデータストリームを分割できることを示す。
  論文  参考訳（メタデータ） (2022-01-13T17:05:56Z)
• Meta Clustering Learning for Large-scale Unsupervised Person Re-identification [124.54749810371986]
  メタクラスタリング学習(MCL)と呼ばれる「大規模タスクのための小さなデータ」パラダイムを提案する。 MCLは、第1フェーズのトレーニングのためにコンピューティングを節約するためにクラスタリングを介して、未ラベルデータのサブセットを擬似ラベル付けするのみである。 提案手法は計算コストを大幅に削減すると同時に,従来よりも優れた性能を実現している。
  論文  参考訳（メタデータ） (2021-11-19T04:10:18Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Structured Inverted-File k-Means Clustering for High-Dimensional Sparse Data [2.487445341407889]
  本稿では,大規模かつ高次元スパースデータセットのためのアーキテクチャフレンドリーなk-meansクラスタリングアルゴリズムsivfを提案する。 性能解析の結果,sivfはキャッシュミス数と分岐予測の精度低下係数を低減し,高い速度を実現していることがわかった。
  論文  参考訳（メタデータ） (2021-03-30T07:54:02Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。