論文の概要: Quality analysis and evaluation prediction of RAG retrieval based on machine learning algorithms

• arxiv url: http://arxiv.org/abs/2511.19481v1
• Date: Sat, 22 Nov 2025 21:43:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.027044
• Title: Quality analysis and evaluation prediction of RAG retrieval based on machine learning algorithms
• Title（参考訳）: 機械学習アルゴリズムに基づくRAG検索の品質解析と評価予測
• Authors: Ruoxin Zhang, Zhizhao Wen, Chao Wang, Chenchen Tang, Puyang Xu, Yifan Jiang,
• Abstract要約: 本稿では,特徴工学と粒子群最適化に基づくXGBoost機械学習回帰モデルを提案する。 その結果,doc_delevanceが0.66と正の相関を示し,文書の妥当性が回答品質に有意な影響を及ぼすことが示された。 また,VMD PSO BiLSTMモデルでは,MSE,RMSE,MAE,MAPEが比較モデルに比べて有意に低い値を示した。
• 参考スコア（独自算出の注目度）: 6.080705154168683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid evolution of large language models, retrieval enhanced generation technology has been widely used due to its ability to integrate external knowledge to improve output accuracy. However, the performance of the system is highly dependent on the quality of the retrieval module. If the retrieval results have low relevance to user needs or contain noisy information, it will directly lead to distortion of the generated content. In response to the performance bottleneck of existing models in processing tabular features, this paper proposes an XGBoost machine learning regression model based on feature engineering and particle swarm optimization. Correlation analysis shows that answer_quality is positively correlated with doc_delevance by 0.66, indicating that document relevance has a significant positive effect on answer quality, and improving document relevance may enhance answer quality; The strong negative correlations between semantic similarity, redundancy, and diversity were -0.89 and -0.88, respectively, indicating a trade- off between semantic similarity, redundancy, and diversity. In other words, as the former two increased, diversity significantly decreased. The experimental results comparing decision trees, AdaBoost, etc. show that the VMD PSO BiLSTM model is superior in all evaluation indicators, with significantly lower MSE, RMSE, MAE, and MAPE compared to the comparison model. The R2 value is higher, indicating that its prediction accuracy, stability, and data interpretation ability are more outstanding. This achievement provides an effective path for optimizing the retrieval quality and improving the generation effect of RAG system, and has important value in promoting the implementation and application of related technologies.
• Abstract（参考訳）: 大規模言語モデルの急速な進化に伴い、外部知識を統合して出力精度を向上させる能力により、検索強化生成技術が広く利用されている。 しかし,システムの性能は検索モジュールの品質に大きく依存している。 検索結果がユーザのニーズと関係が低い場合やノイズの多い情報を含む場合、生成したコンテンツの歪みを直接引き起こす。 本稿では,既存モデルの性能ボトルネックに対して,特徴工学と粒子群最適化に基づくXGBoost機械学習回帰モデルを提案する。 相関分析の結果,文書関連性は解答品質に有意な影響を及ぼし,文書関連性の改善は解答品質を向上させる可能性が示唆された。意味的類似性,冗長性,多様性間の強い負の相関は-0.89,-0.88であり,意味的類似性,冗長性,多様性のトレードオフを示す。 言い換えれば, 前者2人の増加に伴い, 多様性は著しく低下した。 決定木, AdaBoost 等を比較した実験結果から,VMD PSO BiLSTM モデルは全ての評価指標において優れており, MSE, RMSE, MAE, MAPE は比較モデルに比べて有意に低いことがわかった。 R2値が高く、予測精度、安定性、データ解釈能力がより優れていることを示す。 この成果は、検索品質を最適化し、RAGシステムの生成効果を向上させる効果的な経路を提供し、関連する技術の実装と適用を促進する上で重要な価値を提供する。

関連論文リスト

• GPU Memory Requirement Prediction for Deep Learning Task Based on Bidirectional Gated Recurrent Unit Optimization Transformer [6.443211386140362]
  本稿では,双方向ゲートリカレントユニット(BiGRU)を統合し,トランスフォーマーアーキテクチャを最適化するディープラーニングモデルを提案する。 平均絶対誤差(MAE)と決定係数(R2)の指標では、モデルも良好に動作し、結果はバランスよく安定している。 予測精度は従来の機械学習手法に比べて大幅に改善されている。
  論文  参考訳（メタデータ） (2025-10-23T20:20:35Z)
• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。 TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• Lightweight and Direct Document Relevance Optimization for Generative Information Retrieval [49.669503570350166]
  生成情報検索(GenIR)は、文書識別子(ドシデント)生成タスクとして文書検索を定式化する有望なニューラル検索パラダイムである。 既存のGenIRモデルはトークンレベルのミスアライメントに悩まされており、次のトークンを予測するためにトレーニングされたモデルは、ドキュメントレベルの関連性を効果的にキャプチャできないことが多い。 本稿では,トークンレベルのドシデント生成と文書レベルのドシデンス推定をペアのランク付けによる直接最適化により整合するダイレクトドキュメントレバレンス最適化(DDRO)を提案する。
  論文  参考訳（メタデータ） (2025-04-07T15:27:37Z)
• Efficient Multi-Agent System Training with Data Influence-Oriented Tree Search [59.75749613951193]
  木探索とデータ選択の両方をガイドするデータインフルエンス指向木探索(DITS)を提案する。 インフルエンススコアを活用することで、システム改善のための最も影響力のあるデータを効果的に特定する。 非微分不可能な指標に適した影響スコア推定法を導出する。
  論文  参考訳（メタデータ） (2025-02-02T23:20:16Z)
• Target Variable Engineering [0.0]
  数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。 回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
  論文  参考訳（メタデータ） (2023-10-13T23:12:21Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Quality In / Quality Out: Data quality more relevant than model choice in anomaly detection with the UGR'16 [0.29998889086656577]
  ベンチマークデータセットの比較的小さな変更は、考慮された特定のML手法よりも、モデルパフォーマンスに著しく影響することを示します。 また、不正確なラベル付けの結果、測定されたモデル性能が不確かであることも示す。
  論文  参考訳（メタデータ） (2023-05-31T12:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。