論文の概要: Automated Testing of LLM-Based Post Hoc Explainers Using Model Checking as an Oracle

• arxiv url: http://arxiv.org/abs/2608.30581v1
• Date: Mon, 31 Aug 2026 10:54:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.355519
• Title: Automated Testing of LLM-Based Post Hoc Explainers Using Model Checking as an Oracle
• Title（参考訳）: モデルチェックをOracleとして使用したLCMベースのポストホックスポーラの自動テスト
• Abstract要約: 大規模言語モデル(LLM)は、シーケンシャルな意思決定ポリシーの説明として用いられる。 LLMは、しばしば可算だが誤った文を生成する。 そのような説明が根底にある環境に忠実かどうかを体系的に検証するアプローチは存在しない。
• 参考スコア（独自算出の注目度）: 2.084692857722655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are used as post hoc explainers of sequential decision-making policies, producing natural-language explanations of why an action was chosen. However, LLMs often generate plausible but incorrect statements, and no existing approach systematically tests whether such explanations are faithful to the underlying environment. Two classic software testing challenges stand in the way: there is no oracle for the correctness of an explanation, and the test inputs, natural language queries about a policy's behavior, lack the structure needed for systematic test case generation. We address both. Probabilistic model checking provides the test oracle, computing exact reference results against which LLM answers are graded automatically. A taxonomy of post hoc query categories structures the input space around the environment-level facts from which policy explanations are composed; test cases generated from it are prioritized by question-specific diagnostic difficulty scores. Across seven MDP environments, the testing separates three open-weight LLMs: a reasoning model passes 85% of test cases, a mid-size model 70%, and a 1B model falls below the random baseline, while prioritization surfaces significantly harder cases than random selection. Our results indicate how trustworthy LLM-generated explanations are in model-free settings, where the same LLMs are used but no oracle exists to verify them.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、シーケンシャルな意思決定ポリシーのポストホックな説明として使われ、なぜアクションが選択されたのかを自然言語で説明する。 しかし LLM は、しばしば可塑性だが不正確な文を生成するため、そのような説明が基礎となる環境に忠実であるかどうかを体系的に検証する既存の手法は存在しない。 説明の正しさに関するオラクルはなく、テストインプット、ポリシーの振る舞いに関する自然言語クエリは、体系的なテストケース生成に必要な構造を欠いている。 私たちは両方に対処します。 確率論的モデル検査は、LLMの回答が自動的に評価される正確な基準結果を計算する、テストオラクルを提供する。 ポストホック問合せカテゴリの分類は、政策説明を構成する環境レベルの事実を取り巻く入力空間を規定する。 推論モデルはテストケースの85%を通り、中規模モデル70%を通り、1Bモデルはランダムベースラインより低く、優先順位付け面はランダム選択よりもはるかに難しいケースである。 以上の結果から,LLMが生成する信頼性の高い説明がモデルフリーな環境でどのように使われているかが示唆された。

関連論文リスト

• From Residuals to Reasons: LLM-Guided Mechanism Inference from Tabular Data [10.795877029195845]
  科学的応用のための機械学習における永続的な課題は、予測と理解を共同で達成することである。 マルチエージェント残差文脈学習(MARICL)を導入する。 MARICLは、すべてのデータセットのベースモデルに対して一貫して改善されている。
  論文  参考訳（メタデータ） (2026-05-21T15:34:08Z)
• TopBench: A Benchmark for Implicit Prediction and Reasoning over Tabular Question Answering [80.93487993878836]
  現実世界のクエリの一般的なクラスは暗黙的に予測され、単に検索するのではなく、歴史的パターンから観測されていない回答を推測する必要がある。 これらのクエリには、潜在意図を認識することと、大規模テーブル上での信頼性の高い予測推論という2つの課題がある。 単点予測から意思決定,処理効果分析,複雑な推論に至るまで,4つのサブタスクにわたる779のサンプルからなるベンチマークであるTopBenchを紹介する。
  論文  参考訳（メタデータ） (2026-04-30T16:22:51Z)
• Talk is Cheap, Logic is Hard: Benchmarking LLMs on Post-Condition Formalization [0.32665457005470505]
  本稿では,プログラムの FULL プレコンディションとポストコンディションの生成における LLM の有効性について述べる。 新たな40タスクのデータセットを用いて24種類の最先端LCMを評価した。
  論文  参考訳（メタデータ） (2026-03-17T22:46:42Z)
• Can We Classify Flaky Tests Using Only Test Code? An LLM-Based Empirical Study [40.93176986225226]
  不安定なテストは、同じコード修正で繰り返し実行されるとき、一貫性のない結果をもたらす。 以前の研究は、テストコードの識別子に基づいて不安定なテストを分類するために、機械学習モデルを訓練するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-02-05T09:15:09Z)
• Hallucination to Consensus: Multi-Agent LLMs for End-to-End Test Generation [2.794277194464204]
  ユニットテストは、ソフトウェアの正しさを保証する上で重要な役割を担います。 従来の手法は、高いコードカバレッジを達成するために、検索ベースまたはランダム化アルゴリズムに依存していた。 CANDORはJavaにおける自動単体テスト生成のための新しいプロンプトエンジニアリングベースのLLMフレームワークである。
  論文  参考訳（メタデータ） (2025-06-03T14:43:05Z)
• Challenges in Testing Large Language Model Based Software: A Faceted Taxonomy [8.927002750209295]
  LLM(Large Language Models)とMulti-Agent LLM(MALLMs)は、従来の機械学習ソフトウェアとは異なり、非決定性を導入している。 本稿では,LLMテストケース設計のための分類法について述べる。
  論文  参考訳（メタデータ） (2025-03-01T13:15:56Z)
• From Distributional to Overton Pluralism: Investigating Large Language Model Alignment [82.99849359892112]
  適応後の応答多様性の低下を以前報告した再検査を行った。 分析の結果,応答の多様性の明らかな低下は,品質管理と情報集約によって大きく説明できることがわかった。 発見は、現在のアライメント技術はキャプチャーされるが、アシスタントライクなベースLLM動作の有用なサブセットを拡張するものではないことを示している。
  論文  参考訳（メタデータ） (2024-06-25T16:32:33Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• InfiMM-Eval: Complex Open-Ended Reasoning Evaluation For Multi-Modal Large Language Models [50.03163753638256]
  MLLM(Multi-modal Large Language Models)は人工知能の分野で注目されている。 本ベンチマークは, 帰納的, 帰納的, 類推的推論の3つの主要な推論カテゴリから構成される。 我々は,この厳密に開発されたオープンエンド多段階精巧な推論ベンチマークを用いて,代表MLLMの選択を評価する。
  論文  参考訳（メタデータ） (2023-11-20T07:06:31Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Understanding Emergent In-Context Learning from a Kernel Regression Perspective [55.95455089638838]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,LLMのICLバハビエータの理解におけるカーネル-回帰的視点を提案する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models [55.60306377044225]
  「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。 本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
  論文  参考訳（メタデータ） (2023-03-15T19:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。