論文の概要: Retrieval-Augmented Generation for Service Discovery: Chunking Strategies and Benchmarking

• arxiv url: http://arxiv.org/abs/2505.19310v1
• Date: Sun, 25 May 2025 20:49:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.045793
• Title: Retrieval-Augmented Generation for Service Discovery: Chunking Strategies and Benchmarking
• Title（参考訳）: Retrieval-Augmented Generation for Service Discovery: Chunking Strategies and Benchmarking
• Authors: Robin D. Pesl, Jerin G. Mathew, Massimo Mecella, Marco Aiello,
• Abstract要約: 本稿では, 終端検出における検索拡張生成の利用状況と, 実際のOpenAPIのチャンキング状況を分析し, 入力オッケン長を削減した。 合成のプロンプトの入力トークン長をさらに短縮し、エンドポイント検索を改善するために、(ii)最も関連性の高いエンドポイントの要約のみを受信するディスカバリエージェントを提案し、要求に応じて仕様の詳細を検索する。
• 参考スコア（独自算出の注目度）: 0.6749750044497732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Integrating multiple (sub-)systems is essential to create advanced Information Systems. Difficulties mainly arise when integrating dynamic environments, e.g., the integration at design time of not yet existing services. This has been traditionally addressed using a registry that provides the API documentation of the endpoints. Large Language Models have shown to be capable of automatically creating system integrations (e.g., as service composition) based on this documentation but require concise input due to input oken limitations, especially regarding comprehensive API descriptions. Currently, it is unknown how best to preprocess these API descriptions. In the present work, we (i) analyze the usage of Retrieval Augmented Generation for endpoint discovery and the chunking, i.e., preprocessing, of state-of-practice OpenAPIs to reduce the input oken length while preserving the most relevant information. To further reduce the input token length for the composition prompt and improve endpoint retrieval, we propose (ii) a Discovery Agent that only receives a summary of the most relevant endpoints nd retrieves specification details on demand. We evaluate RAG for endpoint discovery using (iii) a proposed novel service discovery benchmark SOCBench-D representing a general setting across numerous domains and the real-world RestBench enchmark, first, for the different chunking possibilities and parameters measuring the endpoint retrieval accuracy. Then, we assess the Discovery Agent using the same test data set. The prototype shows how to successfully employ RAG for endpoint discovery to reduce the token count. Our experiments show that endpoint-based approaches outperform naive chunking methods for preprocessing. Relying on an agent significantly improves precision while being prone to decrease recall, disclosing the need for further reasoning capabilities.
• Abstract（参考訳）: 高度な情報システムを構築するためには、複数の(サブ)システムを統合することが不可欠である。 障害は主に、動的環境の統合(例えば、まだ既存のサービスの設計時の統合)時に発生する。 これは従来、エンドポイントのAPIドキュメントを提供するレジストリを使用して対処されてきた。 大規模言語モデルは、このドキュメントに基づいてシステム統合(例えばサービス構成)を自動生成できることが示されているが、特に包括的なAPI記述に関して、入力オッケンの制限による簡潔な入力が必要である。 現在、これらのAPI記述をどのように前処理するかは分かっていない。 現状では i) エンドポイント発見におけるRetrieval Augmented Generationの使用状況と、最も関連性の高い情報を保持しながら入力オッケン長を削減するために、前処理であるOpenAPIのチャンキングを分析した。 合成プロンプトの入力トークン長をさらに削減し、エンドポイント検索を改善するために、我々は提案する。 (ii)最も関連性の高いエンドポイントの要約のみを受信するディスカバリエージェントは、オンデマンドに関する仕様の詳細を検索する。 エンドポイント発見のためのRAGの評価 3) 多数のドメインにまたがる一般的な設定を表す新しいサービス探索ベンチマーク SOCBench-D と実世界のRestBench enchmark を、それぞれ異なるチャンキング可能性とエンドポイントの精度を測定するパラメータについて提案した。 次に、同じテストデータセットを用いてディスカバリーエージェントを評価する。 プロトタイプでは、エンドポイント発見にRAGをうまく使用してトークン数を削減する方法が示されている。 実験により、エンドポイントベースのアプローチは、前処理における単純なチャンキング手法よりも優れていることが示された。 エージェントのリライジングはリコールの低減を図り、さらなる推論能力の必要性を開示しながら精度を著しく向上させる。

関連論文リスト

• MetaGen Blended RAG: Higher Accuracy for Domain-Specific Q&A Without Fine-Tuning [0.0]
  本稿では,ハイブリッドクエリインデックスとメタデータエンリッチメントによるドメイン固有コーパスの検索機能の向上に焦点を当てたエンタープライズ検索手法を提案する。 この'MetaGen Blended RAG'メソッドは、キーコンセプト、トピック、および頭字語を使用してメタデータ生成パイプラインを構築し、その後、検索クエリが強化されたメタデータ強化ハイブリッドインデックスを生成する。 バイオメディカル領域のPubMedQAベンチマークにおいて、提案手法は82%の精度と77%のRAG精度を達成し、微調整なしで以前のRAG精度を全て上回り、ゼロショット結果のベンチマークを新たに設定し、GPT3.5のようなはるかに大きなモデルよりも優れている。
  論文  参考訳（メタデータ） (2025-05-23T17:18:45Z)
• Advanced System Integration: Analyzing OpenAPI Chunking for Retrieval-Augmented Generation [0.6749750044497732]
  我々は,OpenAPIのエンドポイント発見とチャンクにおけるRetrieval Augmented Generationの利用状況を分析した。 本稿では,最も関連性の高いエンドポイントの要約のみを受信し,要求の詳細を検索するディスカバリエージェントを提案する。 実験により, 前処理では, LLM ベース, フォーマット固有のアプローチが, ナイーブ・チャンキング法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-29T16:09:43Z)
• Writing in the Margins: Better Inference Pattern for Long Context Retrieval [0.9404560827144429]
  The Margins (WiM) は、検索指向タスクにおける長い入力シーケンスの処理を最適化するために設計された推論パターンである。 提案したパターンが,コンテキスト処理の進捗状況に関する継続的な更新をエンドユーザに提供する対話型検索設計にどのように適合するかを示す。
  論文  参考訳（メタデータ） (2024-08-27T09:34:38Z)
• CoIR: A Comprehensive Benchmark for Code Information Retrieval Models [52.61625841028781]
  COIR(Code Information Retrieval Benchmark)は、コード検索機能を評価するためのベンチマークである。 COIRは、厳密にキュレートされた10のコードデータセットで構成され、7つの異なるドメインにまたがる8つの特有の検索タスクにまたがる。 我々は,COIRを用いた9つの広く使用されている検索モデルを評価し,最先端システムにおいても,コード検索タスクの実行に重大な困難があることを明らかにする。
  論文  参考訳（メタデータ） (2024-07-03T07:58:20Z)
• Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
  現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。 現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。 我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
  論文  参考訳（メタデータ） (2023-09-08T20:27:05Z)
• Building Interpretable and Reliable Open Information Retriever for New Domains Overnight [67.03842581848299]
  情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。 本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。 より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-09T07:47:17Z)
• Spatial-Temporal Graph Enhanced DETR Towards Multi-Frame 3D Object Detection [54.041049052843604]
  STEMDは,多フレーム3Dオブジェクト検出のためのDETRのようなパラダイムを改良した,新しいエンドツーエンドフレームワークである。 まず、オブジェクト間の空間的相互作用と複雑な時間的依存をモデル化するために、空間的時間的グラフアテンションネットワークを導入する。 最後に、ネットワークが正のクエリと、ベストマッチしない他の非常に類似したクエリを区別することが課題となる。
  論文  参考訳（メタデータ） (2023-07-01T13:53:14Z)
• Predictive Object-Centric Process Monitoring [10.219621548854343]
  本稿では,GAN(Generative Adversarial Networks),LSTM(Long Short-Term Memory),Seq2seq(Sequence to Sequence Model)を用いた予測手法をOCELに含まれるリッチデータで拡張可能であることを示す。 この論文は、ユーザの入力から次のアクティビティのシーケンスを予測するWebインターフェースを提供する。
  論文  参考訳（メタデータ） (2022-07-20T16:30:47Z)
• Towards Zero and Few-shot Knowledge-seeking Turn Detection in Task-orientated Dialogue Systems [40.74708947185302]
  この作業では、ドメインAPIの範囲外にあるユーザリクエストの特定に重点を置いています。 本稿では適応表現学習と密度推定に基づく新しいREDE法を提案する。 DSTC9データと新たに収集したテストセットにREDEの競合性能を示す。
  論文  参考訳（メタデータ） (2021-09-18T03:33:19Z)
• PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning [55.32009000204512]
  PyODDSは、データベースサポート付きアウトレイラ検出のための、エンドツーエンドのPythonシステムである。 具体的には,探索空間を外乱検出パイプラインで定義し,与えられた探索空間内で探索戦略を作成する。 また、データサイエンスや機械学習のバックグラウンドの有無に関わらず、統一されたインターフェイスと視覚化を提供する。
  論文  参考訳（メタデータ） (2020-03-12T03:30:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。