論文の概要: PIPE-RDF: An LLM-Assisted Pipeline for Enterprise RDF Benchmarking

• arxiv url: http://arxiv.org/abs/2602.18497v1
• Date: Sun, 15 Feb 2026 12:03:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.104449
• Title: PIPE-RDF: An LLM-Assisted Pipeline for Enterprise RDF Benchmarking
• Title（参考訳）: PIPE-RDF:エンタープライズRDFベンチマークのためのLLM支援パイプライン
• Abstract要約: PIPE-RDFは、スキーマ固有のNL-SPARQLベンチマークを構築する3フェーズパイプラインである。 9つのカテゴリで450の質問-SPARQLペアのバランスの取れたベンチマークを生成します。 パイプラインは修復後の解析と実行の妥当性を100%達成し、更新前の妥当性率は96.5%-100%である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enterprises rely on RDF knowledge graphs and SPARQL to expose operational data through natural language interfaces, yet public KGQA benchmarks do not reflect proprietary schemas, prefixes, or query distributions. We present PIPE-RDF, a three-phase pipeline that constructs schema-specific NL-SPARQL benchmarks using reverse querying, category-balanced template generation, retrieval-augmented prompting, deduplication, and execution-based validation with repair. We instantiate PIPE-RDF on a fixed-schema company-location slice (5,000 companies) derived from public RDF data and generate a balanced benchmark of 450 question-SPARQL pairs across nine categories. The pipeline achieves 100% parse and execution validity after repair, with pre-repair validity rates of 96.5%-100% across phases. We report entity diversity metrics, template coverage analysis, and cost breakdowns to support deployment planning. We release structured artifacts (CSV/JSONL, logs, figures) and operational metrics to support model evaluation and system planning in real-world settings. Code is available at https://github.com/suraj-ranganath/PIPE-RDF.
• Abstract（参考訳）: 企業は、自然言語インターフェースを通じて運用データを公開するためにRDFナレッジグラフとSPARQLに依存しているが、パブリックなKGQAベンチマークは独自のスキーマ、プレフィックス、クエリ分散を反映していない。 本稿では,逆クエリ,カテゴリバランステンプレート生成,検索強化プロンプト,重複処理,実行ベースバリデーションを用いた,スキーマ固有のNL-SPARQLベンチマークを構築する3相パイプラインであるPIPE-RDFを提案する。 公開RDFデータから得られた固定スキーマ企業のロケーションスライス(5,000社)上でPIPE-RDFをインスタンス化し、9つのカテゴリで450の質問-SPARQLペアのバランスの取れたベンチマークを生成する。 パイプラインは修復後の解析と実行の妥当性を100%達成し、更新前の妥当性率は96.5%-100%である。 デプロイメント計画を支援するため、エンティティの多様性メトリクス、テンプレートカバレッジ分析、コストダウンを報告します。 我々は、構造化アーティファクト(CSV/JSONL、ログ、数値)と運用メトリクスをリリースし、実際の環境でのモデル評価とシステム計画をサポートします。 コードはhttps://github.com/suraj-ranganath/PIPE-RDFで公開されている。

関連論文リスト

• ENTLORE: A Graph-Grounded Benchmark for Latent Organizational Reasoning in Enterprise Question Answering [42.15843879644805]
  本稿では,日常的な文書から監査対象の企業世界を再構築するベンチマーク構築フレームワークであるENTLOREを紹介する。 バージョン管理された組織規約は、真理グラフで派生関係を認証し、完全な黄金の回答と証明証明書を可能にする。 ENTLOREには3つのソースタイプから2,341のドキュメントと907の質問が含まれており、明示的なルックアップ、クロスソースな構成、潜伏した組織的推論を含んでいる。
  論文  参考訳（メタデータ） (2026-08-11T09:00:43Z)
• When RAG Meets Query Planning: Logical Query Trees for Resolving Exploratory Reasoning Problems [56.24850338895714]
  RAGは、高い不確実性と曖昧性を含む複雑なクエリであるtextbf Exploratory reasoning problem (ERP) に苦慮している。 本稿では,自然言語のERPをテキスト論理クエリツリー(LQT)としてモデル化するRAGフレームワークであるemphPlanRAGを紹介する。 PlanRAGは、我々の新たに構築したデータセットである textbfWikiWeb-ERP 上で、最先端のイテレーションベースおよびグラフベースのRAGシステムより優れています。
  論文  参考訳（メタデータ） (2026-07-01T06:43:55Z)
• Executable Schema Contracts: From Automatic Ingestion to Multi-Source Retrieval [19.3757623473603]
  実世界のデータは、暗黙のセマンティクスを持つテーブル、ドキュメント、半構造化ファイルにまたがる。 生のマルチソースデータから実行可能なスキーマを自動的に検出するシステムを提案する。
  論文  参考訳（メタデータ） (2026-06-03T20:28:36Z)
• Firefly: Illuminating Large-Scale Verified Tool-Call Data Generation from Real APIs [46.60041435990374]
  本稿では,実世界のMPPサーバから検証済みのツールコールデータを生成するためのパイプラインFireFlyを紹介する。 実世界のツール空間のスケールを扱うために、ペアワイズツールグラフとサンプルサブDAGを構築します。 このパイプラインを適用すると、240のサーバと93のツールにまたがる5,144の検証タスクが生成される。
  論文  参考訳（メタデータ） (2026-05-17T17:38:17Z)
• ProbSPARQL: Querying Knowledge Graphs with Multi-dimensional, Uncertain Numeric Data [12.834579846922049]
  SFB 1574 Circular Factoryは、返却された製品に関する情報を統合するための共有知識グラフ基盤を構築している。 現在のRDFとSPARQL技術は、調和したクエリと不確実な数値測定データの分析をネイティブにサポートしていない。 本稿では、このインフラストラクチャのアーリーステージクエリ層パイロットとして開発された、上向き互換性のあるSPARQL拡張であるProbSPARQLを紹介する。
  論文  参考訳（メタデータ） (2026-05-16T14:28:37Z)
• BatchDAG: LLM-Planned Execution Graphs for Scalable Ad-Hoc Analysis Over Enterprise Data [0.0]
  BatchDAGは、LLMが操作のタイプ付き非巡回グラフ(DAG)を生成するシステムである。 BatchDAGは5万以上の会議を60秒以内で処理する。 Brevianのプロダクションでは、BatchDAGは60秒未満で5万以上のミーティングを処理している。
  論文  参考訳（メタデータ） (2026-04-17T19:22:34Z)
• Generate, Filter, Control, Replay: A Comprehensive Survey of Rollout Strategies for LLM Reinforcement Learning [79.88942231770629]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を向上させるための訓練後の中心的なツールとなっている。 統一表記によるロールアウトパイプラインの形式化とGenerate-Filter-Control-Replay(GFCR)の導入 検証可能な報酬、プロセスの監督、判断に基づくゲーティング、ガイドとツリー/セグメントのロールアウト、アダプティブな計算割り当て、早期終了と部分的なロールアウト、スループット最適化、自己改善のための再生/再配置でRLにまたがる手法を合成する。
  論文  参考訳（メタデータ） (2026-04-08T00:53:29Z)
• Agentic DAG-Orchestrated Planner Framework for Multi-Modal, Multi-Hop Question Answering in Hybrid Data Lakes [5.276278723196607]
  Agentic DAG-Orchestrated Transformer (A.DOT) Plannerはマルチモーダル・マルチホップ質問応答のためのフレームワークである。 A.DOTは、ユーザNLクエリを構造化および非構造化の両方にまたがる有向非巡回グラフ(DAG)実行計画にコンパイルする。 System Decomposes query into parallelizable sub-queries, includess schema-aware reasoning, and applied both structure and semantic validation。
  論文  参考訳（メタデータ） (2026-03-15T05:34:16Z)
• DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
  分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。 ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。 我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
  論文  参考訳（メタデータ） (2026-03-01T16:10:16Z)
• Relatron: Automating Relational Machine Learning over Relational Databases [50.94254514286021]
  本稿では, RDL と DFS を共有設計空間に統合し, 多様な RDB タスクを対象としたアーキテクチャ中心の検索を行う。 RDLはDFSを一貫して上回り、高いタスク依存性を持つ。(2)タスク全体において単一のアーキテクチャが支配的であり、タスク認識モデル選択の必要性を強調し、精度は選択アーキテクチャの信頼性の低いガイドである。
  論文  参考訳（メタデータ） (2026-02-26T02:45:22Z)
• From Ad-Hoc Scripts to Orchestrated Pipelines: Architecting a Resilient ELT Framework for Developer Productivity Metrics [0.0]
  本稿では,レガシスケジューリングからロバストなExtract-Load-Transformパイプラインへの移行経験について報告する。 メトリクスパイプラインをプロダクショングレードの分散システムとして扱うことは、持続可能なエンジニアリング分析の前提条件である。
  論文  参考訳（メタデータ） (2026-02-25T04:46:08Z)
• SPAR: Session-based Pipeline for Adaptive Retrieval on Legacy File Systems [6.5637131627375505]
  SPAR(Session-based Pipeline for Adaptive Retrieval)は、大規模言語モデルをレトリーバル拡張生成(RAG)アーキテクチャに統合する概念的なフレームワークである。 セマンティックメタデータインデックスが最初に作成され、セッション固有のベクトルデータベースが必要に応じて動的に生成される。 この設計は、透明性、制御可能性、検索の関連性を改善しながら、計算オーバーヘッドを低減する。
  論文  参考訳（メタデータ） (2025-12-15T02:54:10Z)
• SO-Bench: A Structural Output Evaluation of Multimodal LLMs [43.74273224757814]
  マルチモーダルな大規模言語モデル (MLLM) は、現実のエージェント的な設定でますます多くデプロイされている。 テキスト領域における構造化生成の最近の進歩にもかかわらず、スキーマ基底情報抽出と視覚的入力に対する推論を体系的に評価するベンチマークはいまだ存在しない。 我々は、慎重に設計されたSO-Benchベンチマークを用いて、MLLMの視覚構造出力能力を総合的に研究する。
  論文  参考訳（メタデータ） (2025-11-23T16:53:16Z)
• CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
  CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。 トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。 また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
  論文  参考訳（メタデータ） (2025-10-03T08:50:21Z)
• MontePrep: Monte-Carlo-Driven Automatic Data Preparation without Target Data Instances [25.78808887206003]
  商用システムにおいて、ADP (Pervasive for Automatic Data prepared) とは、異なるソースから標準化されたスキーマ仕様でターゲットにデータを転送することである。 そこで本研究では,目標確率をゼロとしたトレーニング不要パイプライン合成を実現するための,効率的なエンドツーエンドADPフレームワークであるMontePrepを提案する。 MontePrepは,オープンソースの大規模言語モデル (LLM) を用いた木構造探索問題として定式化されている。
  論文  参考訳（メタデータ） (2025-09-22T09:17:41Z)
• FIRESPARQL: A LLM-based Framework for SPARQL Query Generation over Scholarly Knowledge Graphs [0.5120567378386615]
  我々は、RAGとSPARQLクエリ修正層を介してオプションコンテキストで、微調整LDMをコアコンポーネントとしてサポートするモジュラーフレームワークを提案する。 BLEUとROUGEのメトリクスを用いてクエリ精度を測定し、緩和された正確なマッチング(RelaxedEM)を用いてクエリ結果の精度を測定する。 実験結果から,クエリの精度は0.90 ROUGE-L,テストセットの精度は0.85 RelaxedEMに達した。
  論文  参考訳（メタデータ） (2025-08-14T09:08:50Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• LLM-Assisted Question-Answering on Technical Documents Using Structured Data-Aware Retrieval Augmented Generation [0.432776344138537]
  大きな言語モデル(LLM)は自然言語の理解と生成を可能にする。 ファインチューニングは可能なソリューションのひとつだが、リソース集約であり、データ更新毎に繰り返す必要がある。 Retrieval-Augmented Generation (RAG)は、LLMが外部の知識ソースにアクセスできるようにすることにより、効率的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-06-29T08:22:03Z)
• eSapiens: A Real-World NLP Framework for Multimodal Document Understanding and Enterprise Knowledge Processing [6.450269621190948]
  企業環境での質問応答システムeSapiensを紹介する。 eSapiensは、二重モジュールアーキテクチャを介して構造化データベースと非構造化コーパスをブリッジする。 我々は、RAGTruthベンチマークでeSapiensを評価し、完全性、幻覚、文脈利用といった重要な側面における性能を分析した。
  論文  参考訳（メタデータ） (2025-06-20T06:07:20Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Proton: Probing Schema Linking Information from Pre-trained Language Models for Text-to-SQL Parsing [66.55478402233399]
  本稿では,ポアンカー距離測定に基づく探索手法を用いて,関係構造を抽出する枠組みを提案する。 スキーマリンクの一般的なルールベース手法と比較して,探索関係は意味的対応をしっかりと捉えることができることがわかった。 我々のフレームワークは3つのベンチマークで最先端のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-06-28T14:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。