論文の概要: Advanced System Integration: Analyzing OpenAPI Chunking for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2411.19804v1
• Date: Fri, 29 Nov 2024 16:09:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:44.199857
• Title: Advanced System Integration: Analyzing OpenAPI Chunking for Retrieval-Augmented Generation
• Title（参考訳）: 高度なシステム統合 - 検索拡張ジェネレーションのためのOpenAPIチャンキングの分析
• Authors: Robin D. Pesl, Jerin G. Mathew, Massimo Mecella, Marco Aiello,
• Abstract要約: 我々は,OpenAPIのエンドポイント発見とチャンクにおけるRetrieval Augmented Generationの利用状況を分析した。 本稿では,最も関連性の高いエンドポイントの要約のみを受信し,要求の詳細を検索するディスカバリエージェントを提案する。 実験により, 前処理では, LLM ベース, フォーマット固有のアプローチが, ナイーブ・チャンキング法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 0.6749750044497732
• License:
• Abstract: Integrating multiple (sub-)systems is essential to create advanced Information Systems (ISs). Difficulties mainly arise when integrating dynamic environments across the IS lifecycle. A traditional approach is a registry that provides the API documentation of the systems' endpoints. Large Language Models (LLMs) have shown to be capable of automatically creating system integrations (e.g., as service composition) based on this documentation but require concise input due to input token limitations, especially regarding comprehensive API descriptions. Currently, it is unknown how best to preprocess these API descriptions. Within this work, we (i) analyze the usage of Retrieval Augmented Generation (RAG) for endpoint discovery and the chunking, i.e., preprocessing, of OpenAPIs to reduce the input token length while preserving the most relevant information. To further reduce the input token length for the composition prompt and improve endpoint retrieval, we propose (ii) a Discovery Agent that only receives a summary of the most relevant endpoints and retrieves details on demand. We evaluate RAG for endpoint discovery using the RestBench benchmark, first, for the different chunking possibilities and parameters measuring the endpoint retrieval recall, precision, and F1 score. Then, we assess the Discovery Agent using the same test set. With our prototype, we demonstrate how to successfully employ RAG for endpoint discovery to reduce the token count. While revealing high values for recall, precision, and F1, further research is necessary to retrieve all requisite endpoints. Our experiments show that for preprocessing, LLM-based and format-specific approaches outperform na\"ive chunking methods. Relying on an agent further enhances these results as the agent splits the tasks into multiple fine granular subtasks, improving the overall RAG performance in the token count, precision, and F1 score.
• Abstract（参考訳）: 高度な情報システム(IS)を構築するためには、複数のサブシステムを統合することが不可欠である。 ISライフサイクル全体にわたる動的環境の統合において、主に困難が生じる。 従来のアプローチは、システムのエンドポイントに関するAPIドキュメントを提供するレジストリである。 大規模言語モデル(LLM)は、このドキュメントに基づいてシステム統合(例えばサービス構成)を自動生成できることが示されているが、特に包括的なAPI記述に関して、入力トークンの制限による簡潔な入力が必要である。 現在、これらのAPI記述をどのように前処理するかは分かっていない。 この作品の中で、私たちは i) エンドポイント発見にRAG(Retrieval Augmented Generation)を用いること、すなわちOpenAPIのチャンキングを解析して、最も関連性の高い情報を保持しながら、入力トークンの長さを短縮する。 合成プロンプトの入力トークン長をさらに削減し、エンドポイント検索を改善するために、我々は提案する。 (ii)最も関連性の高いエンドポイントの要約のみを受け取り、需要の詳細を検索するディスカバリーエージェント。 本稿では、RestBenchベンチマークを用いて、エンドポイント検索のためのRAGを評価し、まず、異なるチャンキング可能性と、エンドポイント検索リコール、精度、F1スコアを測定するパラメータについて評価する。 次に、同じテストセットを用いてディスカバリーエージェントを評価する。 プロトタイプでは,エンドポイント発見にRAGをうまく利用してトークン数を削減できることを示す。 リコール、精度、F1のための高い値を明らかにする一方で、必要なすべてのエンドポイントを検索するためには、さらなる研究が必要である。 実験により, 前処理では, LLMおよびフォーマット固有のアプローチが, na\\ なチャンキング法より優れていることが示された。 エージェントをリライジングすることで、エージェントはタスクを複数のきめ細かいサブタスクに分割し、トークンカウント、精度、F1スコアの全体的なRAGパフォーマンスを向上させることにより、これらの結果をさらに強化する。

関連論文リスト

• ALPS: An Auto-Labeling and Pre-training Scheme for Remote Sensing Segmentation With Segment Anything Model [32.91528641298171]
  ALPS (Automatic Labeling for Pre-training in Pre-training in Remote Sensing) という,革新的な自動ラベリングフレームワークを導入する。 我々はSegment Anything Model(SAM)を利用して、事前のアノテーションや追加のプロンプトを必要とせずに、RS画像の正確な擬似ラベルを予測する。 提案手法は,iSAIDやISPRS Potsdamなど,様々なベンチマークにおけるダウンストリームタスクの性能を向上させる。
  論文  参考訳（メタデータ） (2024-06-16T09:02:01Z)
• SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
  ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T22:48:02Z)
• Look Before You Match: Instance Understanding Matters in Video Object Segmentation [114.57723592870097]
  本稿では,ビデオオブジェクトセグメンテーション(VOS)におけるインスタンスの重要性について論じる。 本稿では,クエリベースのインスタンスセグメンテーション(IS)ブランチを現在のフレームのインスタンス詳細に分割し,VOSブランチをメモリバンクと時空間マッチングする,VOS用の2分岐ネットワークを提案する。 我々は、ISブランチから十分に学習されたオブジェクトクエリを使用して、インスタンス固有の情報をクエリキーに注入し、インスタンス拡張マッチングをさらに実行します。
  論文  参考訳（メタデータ） (2022-12-13T18:59:59Z)
• On Taking Advantage of Opportunistic Meta-knowledge to Reduce Configuration Spaces for Automated Machine Learning [11.670797168818773]
  主要な研究課題は、パフォーマンスの悪いMLパイプラインのコスト評価を事前に回避できるかどうかである。 AutoWeka4MCPSパッケージによる多くの実験は、オポチュニティ/システムメタ知識がMLの結果を改善することを示唆している。 我々は、データセットの「チャレンジ」に対する強い感度、すなわち、予測子の選択における特異性によってパフォーマンスが著しく向上するかどうかを観察する。
  論文  参考訳（メタデータ） (2022-08-08T19:22:24Z)
• Predictive Object-Centric Process Monitoring [10.219621548854343]
  本稿では,GAN(Generative Adversarial Networks),LSTM(Long Short-Term Memory),Seq2seq(Sequence to Sequence Model)を用いた予測手法をOCELに含まれるリッチデータで拡張可能であることを示す。 この論文は、ユーザの入力から次のアクティビティのシーケンスを予測するWebインターフェースを提供する。
  論文  参考訳（メタデータ） (2022-07-20T16:30:47Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
  開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。 開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。 既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
  論文  参考訳（メタデータ） (2022-04-05T20:33:24Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• Zero-shot Slot Filling with DPR and RAG [10.577238010892287]
  与えられた文書コレクションから知識グラフ(KG)を自動的に抽出する能力は、人工知能の長年の問題である。 この分野の最近の進歩は、検索ベースの言語モデルを用いて、エンドツーエンドの方法でこの課題を解決しようとする。 本稿では,より優れたスロットフィラーを実現するために,ragのレトリバーとジェネレータを改善するためのいくつかの戦略について述べる。
  論文  参考訳（メタデータ） (2021-04-17T18:24:51Z)
• Target-Aware Object Discovery and Association for Unsupervised Video Multi-Object Segmentation [79.6596425920849]
  本稿では,教師なしビデオマルチオブジェクトセグメンテーションの課題について述べる。 より正確で効率的な時間区分のための新しいアプローチを紹介します。 DAVIS$_17$とYouTube-VISに対する提案手法を評価した結果,セグメント化精度と推論速度の両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-10T14:39:44Z)
• PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning [55.32009000204512]
  PyODDSは、データベースサポート付きアウトレイラ検出のための、エンドツーエンドのPythonシステムである。 具体的には,探索空間を外乱検出パイプラインで定義し,与えられた探索空間内で探索戦略を作成する。 また、データサイエンスや機械学習のバックグラウンドの有無に関わらず、統一されたインターフェイスと視覚化を提供する。
  論文  参考訳（メタデータ） (2020-03-12T03:30:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。