論文の概要: Semi-structured LLM Reasoners Can Be Rigorously Audited

• arxiv url: http://arxiv.org/abs/2505.24217v2
• Date: Mon, 29 Sep 2025 17:21:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.016052
• Title: Semi-structured LLM Reasoners Can Be Rigorously Audited
• Title（参考訳）: 半構造型LLM共振器は厳格に聴取できる
• Authors: Jixuan Leng, Cassandra A. Cohen, Zhixian Zhang, Chenyan Xiong, William W. Cohen,
• Abstract要約: 半構造化推論モデル (SSRM) を導入し, 推論の半構造化表現を生成する訓練を行った。 SSRMは、実行不可能なPythonの構文で推論トレースを生成し、各推論ステップを指定し、入力と出力をマークする。 これらの手法はすべて、予測可能な推論エラーを効果的にフラグできることを示す。
• 参考スコア（独自算出の注目度）: 43.72257027288094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Large Language Models (LLMs) have become capable reasoners, the problem of faithfulness persists: their reasoning can contain errors and omissions that are difficult to detect and that may obscure biases in model outputs. To address this issue, we introduce Semi-Structured Reasoning Models (SSRMs), which are trained to produce semi-structured representations of reasoning. SSRMs generate reasoning traces in a non-executable Pythonic syntax that names each reasoning step and marks its inputs and outputs. This structure allows SSRM traces to be automatically audited to identify reasoning flaws. We evaluate three types of audits: hand-crafted structured reasoning audits, written in a domain-specific language (DSL) implemented in Python; LLM-generated structured reasoning audits; and learned typicality audits, which apply probabilistic models over reasoning traces. We show that all of these methods can be used to effectively flag probable reasoning errors. Importantly, the auditability of SSRMs does not appear to compromise overall accuracy: in evaluation on twelve benchmarks and two model families, SSRMs demonstrate strong performance and generalizability relative to other models of comparable size.
• Abstract（参考訳）: 大規模言語モデル(LLM)は有能な推論者になっているが、忠実さの問題は持続している。 この問題に対処するために,半構造化推論モデル(SSRM)を導入し,半構造化された推論表現を生成するように訓練した。 SSRMは、実行不可能なPythonの構文で推論トレースを生成し、各推論ステップを指定し、入力と出力をマークする。 この構造により、SSRMトレースを自動的に監査して推論の欠陥を特定することができる。 我々は,Pythonで実装されたドメイン固有言語(DSL)で記述された手作りの構造化推論監査,LLMで生成された構造化推論監査,および推論トレースよりも確率論的モデルを適用する定性監査の3種類を評価した。 これらの手法はすべて、予測可能な推論エラーを効果的にフラグできることを示す。 重要なことに、SSRMの監査性は全体的な精度を損なうものではない:12のベンチマークと2つのモデルファミリで評価すると、SSRMは同等の大きさの他のモデルと比較して強い性能と一般化性を示す。

関連論文リスト

• TRUE: A Trustworthy Unified Explanation Framework for Large Language Model Reasoning [0.2538209532048867]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて強力な能力を示してきたが、その意思決定プロセスは解釈が難しいままである。 本稿では,実行可能推論検証,実現可能な領域指向非巡回グラフ(DAG)モデリング,因果故障モード解析を統合したTrustworthy Unified Explanation Framework(TRUE)を提案する。
  論文  参考訳（メタデータ） (2026-02-21T17:00:54Z)
• Project Ariadne: A Structural Causal Framework for Auditing Faithfulness in LLM Agents [0.0]
  エージェント推論の因果的整合性を評価するための新しいXAIフレームワークである textbfProject Ariadne を紹介する。 表面レベルのテキスト類似性に依存する既存の解釈可能性メソッドとは異なり、Project Ariadne は中間推論ノードに対して textbfhard の介入(do$-calculus)を行う。 我々の最先端モデルに対する実証的な評価は、永続的なテクスチャフルネスギャップを明らかにします。
  論文  参考訳（メタデータ） (2026-01-05T18:05:29Z)
• Beyond Correctness: Exposing LLM-generated Logical Flaws in Reasoning via Multi-step Automated Theorem Proving [11.24425572063955]
  大規模言語モデル(LLM)は驚くべき推論能力を示しており、医療、法律、科学研究などの高度な領域で採用されている。 しばしば、流動的な言語で隠された微妙な論理的誤りがあり、重要なアプリケーションにとって重大なリスクを生じさせる。 MATPは多段階自動定理証明によるLCM推論を体系的に検証するための評価フレームワークである。
  論文  参考訳（メタデータ） (2025-12-29T14:48:15Z)
• SSR: Socratic Self-Refine for Large Language Model Reasoning [78.62319252287938]
  Socratic Self-Refine (SSR)は、大規模言語モデル(LLM)のきめ細かい評価と精度向上のための新しいフレームワークである。 提案したSSRはモデル応答を検証可能な(サブクエスト,サブサブアンサー)ペアに分解し,ステップレベルの信頼度推定を可能にする。 5つの推論ベンチマークと3つのLCMによる実証的な結果から、SSRは一貫して最先端の反復的自己修正ベースラインを上回っていることが分かる。
  論文  参考訳（メタデータ） (2025-11-13T18:47:07Z)
• Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。 最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。 本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
  論文  参考訳（メタデータ） (2025-09-02T14:16:02Z)
• On Evaluating Performance of LLM Inference Serving Systems [11.712948114304925]
  ベースラインフェアネス、評価設定、メトリックデザインの3つの重要な側面で繰り返し発生するアンチパターンを特定します。 これらのアンチパターンは、その二重相の性質のため、Large Language Model (LLM)推論に固有の問題である。 分析から得られた包括的なチェックリストを提供し、これらのアンチパターンを認識して回避するためのフレームワークを構築します。
  論文  参考訳（メタデータ） (2025-07-11T20:58:21Z)
• The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity [16.266145641151375]
  大規模な推論モデルは、回答を提供する前に詳細な思考プロセスを生成する。 我々は, LRM がある種の複雑さを超えて完全に精度の低下に直面していることを示す。 また、より深く推論の痕跡を調べ、探索された解のパターンを研究する。
  論文  参考訳（メタデータ） (2025-06-07T22:42:29Z)
• Socratic-PRMBench: Benchmarking Process Reward Models with Systematic Reasoning Patterns [79.42805969325036]
  プロセス・リワード・モデル(PRM)は複雑な推論と問題解決に不可欠である。 PRMは、推論プロセス中に様々な推論パターンの下でエラーを特定する必要がある。 既存のベンチマークは主に、段階的に正しいPRMを評価することに焦点を当てている。 Socratic-PRMBenchは、6つの推論パターンでPRMを体系的に評価する新しいベンチマークである。
  論文  参考訳（メタデータ） (2025-05-29T14:26:53Z)
• Reasoning Meets Personalization: Unleashing the Potential of Large Reasoning Model for Personalized Generation [21.89080753903469]
  パーソナライズタスクのための大規模推論モデル(LRM)の最初の体系的評価について述べる。 本分析では, 分散思考, 応答形式の不整合, 検索情報の有効利用の3つの重要な限界を同定した。 階層的推論思考テンプレートを組み込んだ新しいフレームワークであるReinforced Reasoning for Personalization (model)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T07:30:13Z)
• Mapping the Minds of LLMs: A Graph-Based Analysis of Reasoning LLM [11.181783720439563]
  大規模言語モデル(LLM)は、拡張されたChain-of-Thought(CoT)生成を通じて洗練された推論能力を示す。 RLMは、数発のプロンプトによる性能劣化など、直感的で不安定な動作を示すことが多い。 RLMの推論過程をより良くモデル化するための統一的なグラフベース分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T03:54:57Z)
• Towards Logically Sound Natural Language Reasoning with Logic-Enhanced Language Model Agents [3.5083201638203154]
  Logic-Enhanced Language Model Agents (LELMA) は、大きな言語モデルと形式論理を統合するフレームワークである。 LeLMAは自動形式化を用いて推論を論理表現に変換し、論理的妥当性を評価する。 LeLMAはエラー検出の精度が高く,自己修正による推論精度の向上を実現している。
  論文  参考訳（メタデータ） (2024-08-28T18:25:35Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Self-Contradictory Reasoning Evaluation and Detection [31.452161594896978]
  本稿では,自己矛盾推論(Self-Contra)について考察する。 LLMは文脈情報理解や常識を含むタスクの推論において矛盾することが多い。 GPT-4は52.2%のF1スコアで自己コントラを検出できる。
  論文  参考訳（メタデータ） (2023-11-16T06:22:17Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。