論文の概要: What Does an Ontology Catch? Curated, LLM-Generated and Data-Derived Ontologies as Checkers of LLM Agents over Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2610.37809v1
- Date: Tue, 27 Oct 2026 18:27:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:09.899822
- Title: What Does an Ontology Catch? Curated, LLM-Generated and Data-Derived Ontologies as Checkers of LLM Agents over Knowledge Graphs
- Title(参考訳): オントロジーキャッチとは何か? 知識グラフ上のLCMエージェントのチェッカーとしてのLCM生成およびデータ依存オントロジー
- Abstract要約: チェッカーはエラーを見逃し、正解をフラグ付けし、エージェントを"修正"にプッシュする。
それぞれのソースが偽のアラームに対してどのように取引されているか、公開として使用するキュレートされたスキーマが自身のデータと矛盾する可能性があること、ソースを組み合わせるか、エージェントに特定のフィードバックを与えるかを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents that answer questions over Web knowledge graphs are increasingly wrapped in checks derived from the graph's ontology, on the assumption that a formal schema makes a reliable judge. Yet a checker can be wrong as well: it can miss errors, and it can flag correct answers and push the agent into "fixing" them. Whether a curated ontology is worth its cost as such a judge, and how it compares with an ontology an LLM writes or a schema mined from the data, is unknown. We make the checker itself the object of study. Across curated, LLM-generated and data-derived ontologies, used as prompt context, as a checker, or both, and across open-weight and proprietary agents on public graphs and a private graph of nearly $10^{9}$ triples, we account for what ontology-derived checks catch and what they wrongly flag. We show how each source trades caught errors against false alarms, how a curated schema used as published can contradict its own data, which errors structural checks miss, and whether combining sources or giving the agent the checker's specific feedback pays off. On UniProt, the curated ontology flags more correct answers than either an ontology derived from the data or one an LLM derives from a summary of the data with masked identifiers. On real agent answers, its flags are only marginally more precise than random flags.
- Abstract(参考訳): Webナレッジグラフ上の質問に答えるLLMエージェントは、形式スキーマが信頼できる判断を下すという前提で、グラフのオントロジーから派生したチェックにラップされることが多い。
エラーを見逃し、正しい回答をフラグ付けし、エージェントを"修正"するようにプッシュする。
キュレートされたオントロジーがそのような判断に価値があるかどうか、LCMが記述したオントロジーやデータから抽出したスキーマとどのように比較するかは不明だ。
私たちはチェッカー自体を研究の対象にしています。
また、公開グラフ上のオープンウェイトおよびプロプライエタリなエージェントと、約10^{9}$トリプルのプライベートグラフにまたがって、オントロジー由来のチェックが何をキャッチし、何が正しくフラグを付けるかを説明します。
それぞれのソーストレーサが誤報に対してエラーをキャッチし、公開として使用するキュレートされたスキーマが自身のデータと矛盾し、構造的チェックがミスを犯し、ソースを組み合わせるか、チェッカーの特定のフィードバックが報われるかを示す。
UniProtでは、キュレートされたオントロジーフラグは、データから派生したオントロジーまたはLCMのどちらかよりも正確な答えを示す。
実際のエージェントの回答では、そのフラグはランダムなフラグよりもわずかに正確である。
関連論文リスト
- Towards a Learnable Retriever for Textual Graph Question Answering [52.50792981745198]
テキストグラフ質問応答 (GraphQA) とグラフベースの検索拡張生成 (GraphRAG) が注目されている。
大規模な努力にもかかわらず、既存の手法は依然として2つの重要なギャップに直面している。
テキストグラフQAのためのLLMベースのエンド・ツー・エンド・エンド・レトリバー・ジェネレータフレームワークであるTaLenTを提案する。
論文 参考訳(メタデータ) (2026-10-24T07:40:13Z) - On the LLM Verification for Argument Graph Generation [0.0]
議論グラフの検証では、アロケーションは類似しており、各計器が保証できるものに基づいているべきだと論じる。
本稿では、決定論的チェックから始まり、解決者に基づくLLMレビューへ移行し、不確実性にのみ議論を活用する階層検証を提案する。
論文 参考訳(メタデータ) (2026-10-19T22:41:41Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳(メタデータ) (2026-09-02T08:10:22Z) - Adaptive Influence Graphs for Failure Attribution in Multi-Agent Systems [16.78530745432555]
本稿では,2段階のエージェントフレームワークであるAdaptive Influence Graphs(AIGs)を紹介する。
複数のモデルにまたがって、よりリッチなトレース表現がフェール属性を継続的に改善することを示す。
この仮説は、帰属は診断モデルだけでなく、どのようにトレースが表現され、探索されるかにも依存する、という我々の仮説を裏付けるものである。
論文 参考訳(メタデータ) (2026-08-25T10:18:19Z) - From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。
我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。
LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
論文 参考訳(メタデータ) (2026-04-01T11:40:12Z) - GNNVerifier: Graph-based Verifier for LLM Task Planning [26.77252346424261]
大規模言語モデル(LLM)は、自律エージェントの開発を促進する。
近年の研究では、潜在的な欠陥を特定し、修正するための計画検証器が導入されている。
既存のほとんどのアプローチは、検証子として LLM に依存している。
LLMタスク計画のためのグラフベースの検証器を提案する。
論文 参考訳(メタデータ) (2026-03-16T02:05:21Z) - Uncovering Hidden Correctness in LLM Causal Reasoning via Symbolic Verification [56.51953062869371]
DoVerifier は、因果表現が与えられた因果グラフから導出可能であるかどうかをdo-calculus と probability theory の規則を用いてチェックする記号検証器である。
因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果
論文 参考訳(メタデータ) (2026-01-29T03:22:58Z) - Increasing the LLM Accuracy for Question Answering: Ontologies to the Rescue! [1.0786522863027366]
本稿では,1)オントロジーに基づくクエリチェック (OBQC) と2) LLM修復からなるアプローチを提案する。
当社のアプローチでは、"知らない"結果の8%を含む、全体的な精度を72%に向上しています。
論文 参考訳(メタデータ) (2024-05-20T00:28:00Z) - SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step
Reasoning [55.76083560152823]
SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。
我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
論文 参考訳(メタデータ) (2023-08-01T10:31:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。