論文の概要: Mix-of-Granularity: Optimize the Chunking Granularity for Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2406.00456v1
- Date: Sat, 1 Jun 2024 14:45:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 06:55:04.505896
- Title: Mix-of-Granularity: Optimize the Chunking Granularity for Retrieval-Augmented Generation
- Title(参考訳): Mix-of-Granularity:Retrieval-Augmented Generationのためのチャンキング粒度最適化
- Authors: Zijie Zhong, Hanwen Liu, Xiaoya Cui, Xiaofan Zhang, Zengchang Qin,
- Abstract要約: ルータを用いた入力クエリに基づいて知識データベースの最適粒度を決定する手法であるMix-of-Granularity(MoG)を提案する。
我々はMoGをMix-of-Granularity-Graph(Mix-of-Granularity-Graph)に拡張し、参照文書をグラフに前処理することで、遠い位置にあるチャンクから関連情報を検索する。
- 参考スコア(独自算出の注目度): 7.071677694758966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Integrating information from different reference data sources is a major challenge for Retrieval-Augmented Generation (RAG) systems because each knowledge source adopts a unique data structure and follows different conventions. Retrieving from multiple knowledge sources with one fixed strategy usually leads to under-exploitation of information. To mitigate this drawback, inspired by Mix-of-Expert, we introduce Mix-of-Granularity (MoG), a method that dynamically determines the optimal granularity of a knowledge database based on input queries using a router. The router is efficiently trained with a newly proposed loss function employing soft labels. We further extend MoG to Mix-of-Granularity-Graph (MoGG), where reference documents are pre-processed into graphs, enabling the retrieval of relevant information from distantly situated chunks. Extensive experiments demonstrate that both MoG and MoGG effectively predict optimal granularity levels, significantly enhancing the performance of the RAG system in downstream tasks. The code of both MoG and MoGG will be made public.
- Abstract(参考訳): 異なる参照データソースからの情報を統合することは、各知識ソースが独自のデータ構造を採用し、異なる規則に従うため、検索-拡張生成(RAG)システムにとって大きな課題である。
複数の知識ソースから1つの固定された戦略で取得することは、通常、情報の過小評価につながる。
この欠点を軽減するために、ルータを用いた入力クエリに基づいて知識データベースの最適粒度を動的に決定するMix-of-Granularity(MoG)を導入する。
ルータはソフトラベルを用いた新たな損失関数によって効率よく訓練される。
さらに、MoGをMix-of-Granularity-Graph (MoGG)に拡張し、参照文書をグラフに前処理し、遠隔のチャンクから関連情報を検索できるようにする。
大規模な実験により,MoGとMoGGの両者が最適粒度レベルを効果的に予測し,下流タスクにおけるRAGシステムの性能を著しく向上することが示された。
MoGとMoGGの両方のコードは公開されます。
関連論文リスト
- Think-on-Graph 2.0: Deep and Interpretable Large Language Model Reasoning with Knowledge Graph-guided Retrieval [7.941658149135079]
Think-on-Graph 2.0は、知識グラフと質問を一致させ、ナビゲーションツールとして使用する、拡張されたRAGフレームワークである。
KG誘導航法は、論理的整合性を維持するために深海と長距離の関連を育成する。
ToG$2.0$は、LLMの応答の精度と信頼性を改善するだけでなく、ハイブリッド構造化知識システムの可能性も示している。
論文 参考訳(メタデータ) (2024-07-15T15:20:40Z) - Enhancing Retrieval and Managing Retrieval: A Four-Module Synergy for Improved Quality and Efficiency in RAG Systems [14.62114319247837]
Retrieval-augmented Generation (RAG)技術は、大規模言語モデル(LLM)のコンテキスト内学習機能を利用して、より正確で関連する応答を生成する。
重要なコンポーネントであるQuery Rewriterモジュールは、検索フレンドリーなクエリを生成することで知識検索を強化する。
これら4つのRAGモジュールは、RAGシステムの応答品質と効率を相乗的に改善する。
論文 参考訳(メタデータ) (2024-07-15T12:35:00Z) - Pistis-RAG: A Scalable Cascading Framework Towards Trustworthy Retrieval-Augmented Generation [36.50624138061438]
Pistis-RAGは、大規模検索拡張生成(RAG)システムの課題に対処するために設計されたスケーラブルなマルチステージフレームワークである。
私たちのフレームワークは、マッチング、序列、ランク付け、推論、集約という、異なるステージで構成されています。
我々の新しいランキングステージは、情報検索の原則を取り入れたRAGシステムに特化して設計されている。
論文 参考訳(メタデータ) (2024-06-21T08:52:11Z) - GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent
Space Reconstruction [76.35904458027694]
マスク付きオートエンコーダモデルは、グラフデータに対する優れた一般化能力に欠ける。
本稿では,GiGaMAEと呼ばれる新しいグラフマスマスキングオートエンコーダフレームワークを提案する。
私たちの結果は、グラフ構造化データに基づく基礎モデルの設計に光を当てます。
論文 参考訳(メタデータ) (2023-08-18T16:30:51Z) - Exploring Incompatible Knowledge Transfer in Few-shot Image Generation [107.81232567861117]
少ないショット画像生成は、いくつかの参照サンプルを使用して、ターゲットドメインから多彩で高忠実な画像を生成することを学習する。
既存のF SIGメソッドは、ソースジェネレータから事前の知識を選択し、保存し、転送し、ターゲットジェネレータを学習する。
本稿では,知識保存を補完する操作であり,軽量プルーニング方式で実装した知識トランケーションを提案する。
論文 参考訳(メタデータ) (2023-04-15T14:57:15Z) - RU-Net: Regularized Unrolling Network for Scene Graph Generation [92.95032610978511]
シーングラフ生成(SGG)は、オブジェクトを検出し、各オブジェクト間の関係を予測することを目的としている。
既存のSGG法は,(1)あいまいな対象表現,2)関係予測の多様性の低下など,いくつかの問題に悩まされることが多い。
両問題に対処する正規化アンローリングネットワーク(RU-Net)を提案する。
論文 参考訳(メタデータ) (2022-05-03T04:21:15Z) - Lifelong Generative Modelling Using Dynamic Expansion Graph Model [15.350366047108103]
共同GR法とENA法を用いて,VAEの忘れ行動について検討した。
動的拡張グラフモデル(DEGM)を提案する。
論文 参考訳(メタデータ) (2021-12-15T17:35:27Z) - DSKReG: Differentiable Sampling on Knowledge Graph for Recommendation
with Relational GNN [59.160401038969795]
我々は,GNN(DSKReG)を用いた推薦のための知識グラフの識別可能なサンプリングを提案する。
そこで本研究では,モデル学習手順と組み合わせて,関連する項目の選択を最適化する,識別可能なサンプリング戦略を考案する。
実験の結果,我々のモデルは最先端のKGベースのレコメンデータシステムよりも優れていた。
論文 参考訳(メタデータ) (2021-08-26T16:19:59Z) - Semi-Supervised Domain Generalization with Stochastic StyleMatch [90.98288822165482]
実世界のアプリケーションでは、アノテーションのコストが高いため、各ソースドメインから利用可能なラベルはわずかです。
本研究では,より現実的で実践的な半教師付き領域一般化について検討する。
提案手法であるStyleMatchは,擬似ラベルに基づく最先端の半教師付き学習手法であるFixMatchに着想を得たものである。
論文 参考訳(メタデータ) (2021-06-01T16:00:08Z) - Graph Representation Learning via Graphical Mutual Information
Maximization [86.32278001019854]
本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。
我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
論文 参考訳(メタデータ) (2020-02-04T08:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。