論文の概要: PIPE-RDF: An LLM-Assisted Pipeline for Enterprise RDF Benchmarking

• arxiv url: http://arxiv.org/abs/2602.18497v1
• Date: Sun, 15 Feb 2026 12:03:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.104449
• Title: PIPE-RDF: An LLM-Assisted Pipeline for Enterprise RDF Benchmarking
• Title（参考訳）: PIPE-RDF:エンタープライズRDFベンチマークのためのLLM支援パイプライン
• Authors: Suraj Ranganath,
• Abstract要約: PIPE-RDFは、スキーマ固有のNL-SPARQLベンチマークを構築する3フェーズパイプラインである。 9つのカテゴリで450の質問-SPARQLペアのバランスの取れたベンチマークを生成します。 パイプラインは修復後の解析と実行の妥当性を100%達成し、更新前の妥当性率は96.5%-100%である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enterprises rely on RDF knowledge graphs and SPARQL to expose operational data through natural language interfaces, yet public KGQA benchmarks do not reflect proprietary schemas, prefixes, or query distributions. We present PIPE-RDF, a three-phase pipeline that constructs schema-specific NL-SPARQL benchmarks using reverse querying, category-balanced template generation, retrieval-augmented prompting, deduplication, and execution-based validation with repair. We instantiate PIPE-RDF on a fixed-schema company-location slice (5,000 companies) derived from public RDF data and generate a balanced benchmark of 450 question-SPARQL pairs across nine categories. The pipeline achieves 100% parse and execution validity after repair, with pre-repair validity rates of 96.5%-100% across phases. We report entity diversity metrics, template coverage analysis, and cost breakdowns to support deployment planning. We release structured artifacts (CSV/JSONL, logs, figures) and operational metrics to support model evaluation and system planning in real-world settings. Code is available at https://github.com/suraj-ranganath/PIPE-RDF.
• Abstract（参考訳）: 企業は、自然言語インターフェースを通じて運用データを公開するためにRDFナレッジグラフとSPARQLに依存しているが、パブリックなKGQAベンチマークは独自のスキーマ、プレフィックス、クエリ分散を反映していない。 本稿では,逆クエリ,カテゴリバランステンプレート生成,検索強化プロンプト,重複処理,実行ベースバリデーションを用いた,スキーマ固有のNL-SPARQLベンチマークを構築する3相パイプラインであるPIPE-RDFを提案する。 公開RDFデータから得られた固定スキーマ企業のロケーションスライス(5,000社)上でPIPE-RDFをインスタンス化し、9つのカテゴリで450の質問-SPARQLペアのバランスの取れたベンチマークを生成する。 パイプラインは修復後の解析と実行の妥当性を100%達成し、更新前の妥当性率は96.5%-100%である。 デプロイメント計画を支援するため、エンティティの多様性メトリクス、テンプレートカバレッジ分析、コストダウンを報告します。 我々は、構造化アーティファクト(CSV/JSONL、ログ、数値)と運用メトリクスをリリースし、実際の環境でのモデル評価とシステム計画をサポートします。 コードはhttps://github.com/suraj-ranganath/PIPE-RDFで公開されている。

関連論文リスト

• DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
  分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。 ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。 我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
  論文  参考訳（メタデータ） (2026-03-01T16:10:16Z)
• Relatron: Automating Relational Machine Learning over Relational Databases [50.94254514286021]
  本稿では, RDL と DFS を共有設計空間に統合し, 多様な RDB タスクを対象としたアーキテクチャ中心の検索を行う。 RDLはDFSを一貫して上回り、高いタスク依存性を持つ。(2)タスク全体において単一のアーキテクチャが支配的であり、タスク認識モデル選択の必要性を強調し、精度は選択アーキテクチャの信頼性の低いガイドである。
  論文  参考訳（メタデータ） (2026-02-26T02:45:22Z)
• From Ad-Hoc Scripts to Orchestrated Pipelines: Architecting a Resilient ELT Framework for Developer Productivity Metrics [0.0]
  本稿では,レガシスケジューリングからロバストなExtract-Load-Transformパイプラインへの移行経験について報告する。 メトリクスパイプラインをプロダクショングレードの分散システムとして扱うことは、持続可能なエンジニアリング分析の前提条件である。
  論文  参考訳（メタデータ） (2026-02-25T04:46:08Z)
• SPAR: Session-based Pipeline for Adaptive Retrieval on Legacy File Systems [6.5637131627375505]
  SPAR(Session-based Pipeline for Adaptive Retrieval)は、大規模言語モデルをレトリーバル拡張生成(RAG)アーキテクチャに統合する概念的なフレームワークである。 セマンティックメタデータインデックスが最初に作成され、セッション固有のベクトルデータベースが必要に応じて動的に生成される。 この設計は、透明性、制御可能性、検索の関連性を改善しながら、計算オーバーヘッドを低減する。
  論文  参考訳（メタデータ） (2025-12-15T02:54:10Z)
• CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
  CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。 トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。 また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
  論文  参考訳（メタデータ） (2025-10-03T08:50:21Z)
• MontePrep: Monte-Carlo-Driven Automatic Data Preparation without Target Data Instances [25.78808887206003]
  商用システムにおいて、ADP (Pervasive for Automatic Data prepared) とは、異なるソースから標準化されたスキーマ仕様でターゲットにデータを転送することである。 そこで本研究では,目標確率をゼロとしたトレーニング不要パイプライン合成を実現するための,効率的なエンドツーエンドADPフレームワークであるMontePrepを提案する。 MontePrepは,オープンソースの大規模言語モデル (LLM) を用いた木構造探索問題として定式化されている。
  論文  参考訳（メタデータ） (2025-09-22T09:17:41Z)
• FIRESPARQL: A LLM-based Framework for SPARQL Query Generation over Scholarly Knowledge Graphs [0.5120567378386615]
  我々は、RAGとSPARQLクエリ修正層を介してオプションコンテキストで、微調整LDMをコアコンポーネントとしてサポートするモジュラーフレームワークを提案する。 BLEUとROUGEのメトリクスを用いてクエリ精度を測定し、緩和された正確なマッチング(RelaxedEM)を用いてクエリ結果の精度を測定する。 実験結果から,クエリの精度は0.90 ROUGE-L,テストセットの精度は0.85 RelaxedEMに達した。
  論文  参考訳（メタデータ） (2025-08-14T09:08:50Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• LLM-Assisted Question-Answering on Technical Documents Using Structured Data-Aware Retrieval Augmented Generation [0.432776344138537]
  大きな言語モデル(LLM)は自然言語の理解と生成を可能にする。 ファインチューニングは可能なソリューションのひとつだが、リソース集約であり、データ更新毎に繰り返す必要がある。 Retrieval-Augmented Generation (RAG)は、LLMが外部の知識ソースにアクセスできるようにすることにより、効率的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-06-29T08:22:03Z)
• eSapiens: A Real-World NLP Framework for Multimodal Document Understanding and Enterprise Knowledge Processing [6.450269621190948]
  企業環境での質問応答システムeSapiensを紹介する。 eSapiensは、二重モジュールアーキテクチャを介して構造化データベースと非構造化コーパスをブリッジする。 我々は、RAGTruthベンチマークでeSapiensを評価し、完全性、幻覚、文脈利用といった重要な側面における性能を分析した。
  論文  参考訳（メタデータ） (2025-06-20T06:07:20Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Proton: Probing Schema Linking Information from Pre-trained Language Models for Text-to-SQL Parsing [66.55478402233399]
  本稿では,ポアンカー距離測定に基づく探索手法を用いて,関係構造を抽出する枠組みを提案する。 スキーマリンクの一般的なルールベース手法と比較して,探索関係は意味的対応をしっかりと捉えることができることがわかった。 我々のフレームワークは3つのベンチマークで最先端のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-06-28T14:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。