論文の概要: On the LLM Verification for Argument Graph Generation
- arxiv url: http://arxiv.org/abs/2610.27361v1
- Date: Mon, 19 Oct 2026 22:41:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.536893
- Title: On the LLM Verification for Argument Graph Generation
- Title(参考訳): Argument Graph 生成のための LLM 検証について
- Abstract要約: 議論グラフの検証では、アロケーションは類似しており、各計器が保証できるものに基づいているべきだと論じる。
本稿では、決定論的チェックから始まり、解決者に基づくLLMレビューへ移行し、不確実性にのみ議論を活用する階層検証を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent LLM systems can formalize natural-language argumentation end-to-end, turning plain text into structured graphs by classifying components, connecting them with relations, and enriching the resulting graphs into formal models. Quality assurance for those graphs is almost always another LLMs: a reviewer, judge, or critic agent. On the other side, in adjacent neuro-symbolic fields, such generated output is often verified symbolically by external checks and solvers. In this work, we argue that in argument graph verification, the allocation should be similar, and based on what each instrument can guarantee. We propose layered verification: starting from deterministic checks, moving to solver-based and LLM reviews, and utilizing debate only under uncertainty, leaving human judgment for what no other instrument can decide. We ground our principle with a study on human-annotated graphs with injected structural defects. An LLM reviewer detects them at near-ceiling recall, including cycles in the support relation, but it objects to almost one in a ten correct graphs, even though it should not, happens to be inconsistent in verdict on identical inputs and is significantly slower than the equivalent exact check. It shows that while LLM reviewer does not lack the ability to detect structural defects, it is worth having a deterministic verification gates.
- Abstract(参考訳): マルチエージェント LLM システムは、自然言語による議論の終端を形式化し、コンポーネントを分類し、それらを関係で結合し、結果として得られるグラフを形式的なモデルに変換することによって、平易なテキストを構造化グラフに変換する。
これらのグラフの品質保証は、レビュアー、審査員、批評家エージェントという、ほぼ常に別のLCMである。
一方、隣接したニューロシンボリックフィールドでは、このような出力は外部チェックやソルバによって象徴的に検証されることが多い。
この研究において、議論グラフ検証では、アロケーションは類似しており、各計器が保証できるものに基づいているべきであると論じる。
本稿では,決定論的なチェックから,解決者に基づくLLMレビューへの移行,不確実性のみの議論の活用に至るまでの階層的検証を提案し,他の手段が決定できないものについて人間による判断を残した。
我々は、構造欠陥を注入した人間の注釈付きグラフの研究で、この原理を基礎にしている。
LLMレビュアーは、サポート関係のサイクルを含むほぼシーリングリコールでそれらを検知するが、10個の正しいグラフのほぼ1つにオブジェクトする。
LLMレビュアーには構造的欠陥を検出する能力がないが、決定論的検証ゲートを持つことには価値がある。
関連論文リスト
- PEARL: Auditable Repair for Scientific Reasoning Graph Extraction [4.931179793958283]
ノイズの多いグラフ応答を監査可能な推論グラフに変換する学習自由フレームワークであるPEARLを提案する。
PEARLはまず、閉じたPirceanスキーマの下で明示的なグラフコンテンツを作成し、その後、一致したエビデンスに基づく判断フィードバックを使用して、拒否されたエッジタイプ、ローカル推論ステップ、端末ルートを修復する。
グラフは、制約のないグラフ再生ではなく、検査可能な推論トレースを必要とする研究エージェントとAI科学者のための信頼性レイヤを提供する。
論文 参考訳(メタデータ) (2026-07-20T13:14:13Z) - From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。
我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。
LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
論文 参考訳(メタデータ) (2026-04-01T11:40:12Z) - LLM Reasoning Predicts When Models Are Right: Evidence from Coding Classroom Discourse [0.18268488712787334]
大規模言語モデル(LLM)は、大規模に教育対話を自動的にラベル付けし分析するために、ますます多くデプロイされている。
本研究では,LLMが生成した推論がモデル自身の予測の正確性を予測するのに有効かどうかを検討する。
授業の対話から30,300人の教師の発話を分析し,複数の最先端LPMでラベル付けし,指導的移動構造とそれに伴う推論を行った。
論文 参考訳(メタデータ) (2026-02-10T14:38:13Z) - CodeCircuit: Toward Inferring LLM-Generated Code Correctness via Attribution Graphs [13.488544043942495]
本研究の目的は、コード生成中に論理的妥当性を予測可能な内部デオード可能な信号が、モデル内のニューラルダイナミクスで符号化されているかどうかを検討することである。
複雑な残留流を分解することにより,音の推論と論理的失敗を区別する構造的シグネチャを同定することを目的とする。
Python、C++、Javaでの分析では、固有の正当性信号が多様な構文で堅牢であることが確認されている。
論文 参考訳(メタデータ) (2026-02-06T03:49:15Z) - Uncovering Hidden Correctness in LLM Causal Reasoning via Symbolic Verification [56.51953062869371]
DoVerifier は、因果表現が与えられた因果グラフから導出可能であるかどうかをdo-calculus と probability theory の規則を用いてチェックする記号検証器である。
因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果
論文 参考訳(メタデータ) (2026-01-29T03:22:58Z) - Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。
アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
論文 参考訳(メタデータ) (2025-10-28T11:01:10Z) - Verifying Chain-of-Thought Reasoning via Its Computational Graph [23.32876195998818]
CoT(Chain-of-Thought)検証手法は、出力(ブラックボックス)またはアクティベーション(グレイボックス)に基づいて正当性を予測する。
回路ベース推論検証(CRV)というホワイトボックス方式を導入する。
モデルの潜在推論回路の実行トレースと見なされる正しいCoTステップの帰属グラフは、間違ったステップのものと異なる構造指紋を持つことを示す。
論文 参考訳(メタデータ) (2025-10-10T12:06:04Z) - Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [79.75818239774952]
大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。
Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。
本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
論文 参考訳(メタデータ) (2025-05-22T05:15:27Z) - SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step
Reasoning [55.76083560152823]
SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。
我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
論文 参考訳(メタデータ) (2023-08-01T10:31:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。