論文の概要: NL2SHACL-Bench: A Benchmark Suite for Natural Language to SHACL Translation
- arxiv url: http://arxiv.org/abs/2608.07530v1
- Date: Fri, 24 Jul 2026 10:25:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 01:32:04.550077
- Title: NL2SHACL-Bench: A Benchmark Suite for Natural Language to SHACL Translation
- Title（参考訳）: NL2SHACL-Bench: 自然言語からSHACLへの翻訳のためのベンチマークスイート
- Abstract要約: 本稿では,自然言語からSHACL翻訳へのベンチマークスイートであるNL2SHACL-Benchを紹介する。
NL2SHACL-Benchを用いて、4つの最先端の大規模言語モデル(LLM)を評価する。
- 参考スコア（独自算出の注目度）: 2.8949978680533075
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: SHACL is a core technology for validating the conformance of RDF knowledge graphs (KGs). Yet, authoring SHACL shapes requires technical expertise that most domain experts lack. Translating natural language requirements into SHACL (NL2SHACL) would lower this barrier. However, there is no dedicated benchmark for NL2SHACL, and evaluating generated shapes requires methods beyond string comparison, as semantically equivalent shapes can differ in serialisation and structure. To tackle these challenges, we present NL2SHACL-Bench, a benchmark suite for natural language to SHACL translation. Using NL2SHACL-Bench, we evaluate four state-of-the-art large language models (LLMs) for this task. Our results show that current LLMs are highly capable of generating syntactically valid SHACL, but still struggle to produce semantically equivalent constraints for complex logical and structural patterns. This indicates that NL2SHACL-Bench provides a meaningful basis for measuring advances in the NL2SHACL state of the art.
- Abstract（参考訳）: SHACLはRDF知識グラフ(KG)の適合性を検証するための中核技術である。
しかし、SHACLフォームのオーサリングには、ほとんどのドメインの専門家が欠落している技術的専門知識が必要である。
自然言語要求をSHACL(NL2SHACL)に翻訳すると、この障壁は低下する。
しかし、NL2SHACLの専用のベンチマークはなく、生成した形状の評価には文字列比較以外の方法が必要である。
これらの課題に対処するために、自然言語からSHACL翻訳へのベンチマークスイートであるNL2SHACL-Benchを紹介する。
NL2SHACL-Benchを用いて、4つの最先端の大規模言語モデル(LLM)を評価する。
その結果,現在のLLMは構文的に有効なSHACLを生成する能力は高いが,複雑な論理的・構造的パターンに対して意味論的に等価な制約を生成するのに苦慮していることがわかった。
このことは、NL2SHACL-BenchがNL2SHACLの現状を計測するための有意義な基礎を提供することを示している。
関連論文リスト
- SEDCoT: Enhancing LLM-Based COBOL Code Translation via Symbolic Execution and Delta Debugging [49.898541267264115]
古い技術や疎結合なドキュメンテーション、開発者の引退などによって、メンテナンスはますます難しくなっている。
従来のルールベースのトランスコンパイラは、読み書きが難しい出力を出力する。
本稿では,新しいC言語翻訳フレームワークであるSEDCoTを提案する。
論文 参考訳（メタデータ） (2026-07-05T03:07:10Z) - NL2Scratch: An Executable Benchmark and Evaluation for Block-Based Programming [62.89531126732269]
NL2Scratchは自然言語からスクラッチ生成のための実行可能なベンチマークである。
23,594例のセマンティック検証プールと,スロットバランス800例の診断ベンチマークを構築した。
命令調整と微調整によるLLM実験では、語彙的類似性と意味的アライメントとの間に顕著なギャップが示される。
論文 参考訳（メタデータ） (2026-06-20T14:22:59Z) - SHACL Validation in the Presence of Ontologies: Semantics and Rewriting Techniques [6.882042556551609]
SHACLは、データを完全として扱う制約言語であり、クローズドワールドの仮定の下で検証する必要がある。
我々は、主要なコアユニバーサルモデルの存在下で、SHACL検証のセマンティクスを提唱する。
非常に単純な機能であっても、EXPTIMEは完全であり、PTIMEはデータ複雑性において完全であることを示す。
論文 参考訳（メタデータ） (2025-07-16T14:38:27Z) - xpSHACL: Explainable SHACL Validation using Retrieval-Augmented Generation and Large Language Models [0.0]
Shapes Constraint Language (SHACL)はRDFデータを検証するための強力な言語である。
本稿では,説明可能なSHACL検証システムであるXPSHACLについて述べる。
ルールベースの正当化木と検索強化世代(RAG)と大規模言語モデル(LLM)を組み合わせて、制約違反の詳細な多言語説明を生成する。
論文 参考訳（メタデータ） (2025-07-11T09:18:41Z) - BinMetric: A Comprehensive Binary Analysis Benchmark for Large Language Models [50.17907898478795]
本稿では,バイナリ解析タスクにおける大規模言語モデルの性能評価のためのベンチマークであるBinMetricを紹介する。
BinMetricは6つの実用的なバイナリ分析タスクにわたる20の実際のオープンソースプロジェクトから得られた1000の質問で構成されている。
本ベンチマークの実証実験では, 各種LLMのバイナリ解析能力について検討し, その強度と限界を明らかにした。
論文 参考訳（メタデータ） (2025-05-12T08:54:07Z) - SVTRv2: CTC Beats Encoder-Decoder Models in Scene Text Recognition [77.28814034644287]
テキストの不規則性や言語コンテキストのモデル化が可能なCTCモデルであるSVTRv2を提案する。
我々は,SVTRv2を標準ベンチマークと最近のベンチマークの両方で広範囲に評価した。
SVTRv2は精度と推論速度の点でほとんどのEDTRを超越している。
論文 参考訳（メタデータ） (2024-11-24T14:21:35Z) - Bayesian scaling laws for in-context learning [85.34114399339741]
In-context Learning(ICL)は、言語モデルをトレーニング更新なしで複雑なタスクを実行するための強力なテクニックである。
我々は、ICCがベイズ学習者に近似していることを示し、ICCの新しいベイズスケーリング法を生み出した。
我々のスケーリング法則は既存のスケーリング法則と精度で一致し、タスクの優先順位、学習効率、サンプルごとの確率の解釈可能な用語も提供します。
論文 参考訳（メタデータ） (2024-10-21T21:45:22Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳（メタデータ） (2023-02-15T18:25:52Z) - Improving Bilingual Lexicon Induction with Cross-Encoder Reranking [31.142790337451366]
BLICEr (BLI with Cross-Encoder Re rank) と呼ばれる新しい半教師付きポストホックリグレード法を提案する。
鍵となる考え方は、mPLMから言語間の語彙的知識を抽出し、元のCLWEと組み合わせることである。
BLICErは、多様な言語にまたがる2つの標準BLIベンチマークで、新しい結果を確立している。
論文 参考訳（メタデータ） (2022-10-30T21:26:07Z) - Satisfiability and Containment of Recursive SHACL [4.8986598953553555]
シェープ制約言語(Shapes Constraint Language, SHACL)は、グラフ上の特定の形状を検証することでRDFデータを検証するための最近のW3C勧告言語である。
これまでの研究は、バリデーション問題と、満足度と封じ込めの標準決定問題に主に焦点を合わせてきた。
我々は、SHACLのセマンティクスを正確に把握するSCLと呼ばれる新しい一階言語への翻訳を提供することにより、SHACLの異なる特徴を包括的に研究する。
また、SCLの2階拡張であるMSCLを提示し、単一の形式論理フレームワーク、メインで定義できるようにしました。
論文 参考訳（メタデータ） (2021-08-30T08:51:03Z) - SHACL Satisfiability and Containment (Extended Paper) [6.308539010172308]
Shapes Constraint Language (SHACL)は、RDFデータを検証するための最近のW3C勧告言語である。
本稿では、SCLと呼ばれる新しい一階述語言語への翻訳を提供することにより、再帰的でないSHACLの異なる特徴を徹底的に研究する。
この論理学におけるSHACLの特徴の相互作用について検討し、上記のSHACLサブ言語に対する決定問題の決定可能性と複雑性の詳細なマップを提供する。
論文 参考訳（メタデータ） (2020-08-31T14:52:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。