論文の概要: Documentation vs. Code Patterns: What Drives LLM-Based Exception Oracle Generation?

• arxiv url: http://arxiv.org/abs/2608.00884v1
• Date: Sat, 01 Aug 2026 22:18:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.969782
• Title: Documentation vs. Code Patterns: What Drives LLM-Based Exception Oracle Generation?
• Title（参考訳）: ドキュメンテーション vs. コードパターン: LLMベースの例外 Oracle 生成を駆動するものは何か?
• Abstract要約: LLMを用いたテストオラクル生成(TOG)法では,例外オラクル生成の精度が高い。 モデルは、Javadoc @throws節のような明示的な例外的な振る舞いのドキュメントを使用しますか? 我々は、予測が依存する信号を特定するために帰属誘導代行法を適用した。
• 参考スコア（独自算出の注目度）: 18.50929593758973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based test oracle generation (TOG) methods report high accuracy on exception oracle generation, but it remains unclear what evidence drives these predictions. In particular, do models use explicit exceptional-behavior documentation such as Javadoc @throws clauses, or do they rely on recurring patterns in tests, code, and documentation? We investigate this question through a large-scale intervention-based study of three TOG systems spanning classifier-based and generative architectures and model sizes from roughly 110M to 7B parameters, evaluated on three real-world benchmarks comprising two generated-test datasets and a new benchmark of developer-written tests. We first remove Javadoc @throws clauses and find that accuracy changes only marginally, with the largest drop below one percentage point. This indicates that structured exception documentation is not the primary driver of exception-oracle prediction. We then apply attribution-guided substitution ablations to identify the signals that predictions depend on. The results show that high accuracy can be driven by shortcut signals: some models are highly sensitive to a small number of structural tokens, while others distribute reliance across many lexical cues. These findings challenge the assumption that strong exception-oracle accuracy reflects robust use of exception semantics. Future TOG systems should therefore be evaluated not only by whether they predict the correct oracle type, but also by whether their predictions are grounded in meaningful exception-triggering evidence.
• Abstract（参考訳）: LLM-based test oracle generation (TOG) 法では例外オラクル生成の精度が高いが、どのような証拠がこれらの予測を導くかは定かではない。 特に、モデルは、Javadoc @throws節のような明示的な例外的な振る舞いのドキュメントを使うのか、それとも、テストやコード、ドキュメントの繰り返しパターンに依存しているのか? 本研究では,2つの生成テストデータセットと開発者記述テストの新しいベンチマークから,約110Mから7Bパラメータのモデルサイズと分類器ベースおよび生成アーキテクチャを対象とする3つのTOGシステムの大規模介入に基づく検討を行った。 まず、Javadoc @throws節を削除し、最大で1パーセント未満の減少で、精度がわずかに変化していることに気付きました。 これは、構造化された例外文書が例外の予測の原動力ではないことを示している。 次に、帰属誘導代用アブレーションを適用し、予測が依存する信号を特定する。 いくつかのモデルは少数の構造的トークンに非常に敏感であり、他のモデルは多くの語彙的手がかりに頼っている。 これらの知見は、強い例外の精度は例外のセマンティクスの堅牢な使用を反映しているという仮定に挑戦する。 したがって、将来のTOGシステムは、正しいオラクルの型を予測するだけでなく、それらの予測が意味のある例外追跡の証拠に基づいているかどうかによって評価されるべきである。

関連論文リスト

• Automated Testing of LLM-Based Post Hoc Explainers Using Model Checking as an Oracle [2.084692857722655]
  大規模言語モデル(LLM)は、シーケンシャルな意思決定ポリシーの説明として用いられる。 LLMは、しばしば可算だが誤った文を生成する。 そのような説明が根底にある環境に忠実かどうかを体系的に検証するアプローチは存在しない。
  論文  参考訳（メタデータ） (2026-08-31T10:54:37Z)
• PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling [11.1017602726296]
  大規模言語モデルは、ますます自律的なエージェントとして機能している。 現在のベンチマークには3つの制限がある。 Evalは、2段階のフレームワークで構築されたベンチマークである。
  論文  参考訳（メタデータ） (2026-08-09T13:25:54Z)
• From Business Requirements to Test Assertions: Evaluating LLM-Generated Oracles on Real Bugs [0.5156484100374058]
  大規模言語モデル(LLM)は、自然言語ビジネス要求から直接一般化可能なテストオラクルを生成することができる。 LLMは非自明な一般化を実現するが、バグレベルとモデルレベルのばらつきは大きい。 概念実証のパイロットとして、これらの発見は予備的であり、実現可能性を確立し、より大規模な経験的調査を動機付けることを意図している。
  論文  参考訳（メタデータ） (2026-07-11T12:17:49Z)
• LogicHunter: Testing LLM Agent Frameworks with an Agentic Oracle [6.653693552089508]
  LangChain、LlamaIndex、CrewAIといった大規模言語モデル(LLM)エージェントフレームワークは、実運用AIシステムを支える重要なインフラストラクチャになっています。 これらの純粋なPythonフレームワークの欠陥は、通常の例外やサイレントなセマンティックな失敗として現れ、深いオラクルの曖昧さを生み出します。 我々は、アクティブな仕様認識テストを通じて世代とオラクルの課題に対処するファジングフレームワークであるLogicHunterを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T12:21:42Z)
• Reliability-Prioritized Fine-Grained Generation in Multimodal Large [50.26126844186488]
  きめ細かな記述を生成することは、粗い粒度の生成よりもエラーを起こしやすいことを示す。 本稿では,モデル予測が視覚的に正しいか,正しい予測がどの程度具体的であるかを評価する階層型評価アルゴリズムを提案する。 textscGranFactの実験により,信頼性を保ちながら細粒度の生成を改善することができた。
  論文  参考訳（メタデータ） (2026-06-28T19:27:59Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• TopBench: A Benchmark for Implicit Prediction and Reasoning over Tabular Question Answering [80.93487993878836]
  現実世界のクエリの一般的なクラスは暗黙的に予測され、単に検索するのではなく、歴史的パターンから観測されていない回答を推測する必要がある。 これらのクエリには、潜在意図を認識することと、大規模テーブル上での信頼性の高い予測推論という2つの課題がある。 単点予測から意思決定,処理効果分析,複雑な推論に至るまで,4つのサブタスクにわたる779のサンプルからなるベンチマークであるTopBenchを紹介する。
  論文  参考訳（メタデータ） (2026-04-30T16:22:51Z)
• Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence [56.09494651178128]
  検索モデルは、Retrieval-Augmented Generation (RAG)のような情報検索(IR)アプリケーションで一般的に使用される。 我々は、Dragon+やContrieverのようなリトリーバーに対する、短いドキュメントの好みなどのバイアスの影響を定量化する。 私たちは大きな脆弱性を発見し、リトリバーが短いドキュメント、早い位置、繰り返しのエンティティ、リテラルマッチを好んで、答えの存在を無視しながら表示します。
  論文  参考訳（メタデータ） (2025-03-06T23:23:13Z)
• ANLS* -- A Universal Document Processing Metric for Generative Large Language Models [40.94659575657584]
  本稿ではANLS*と呼ばれる生成モデルを評価するための新しい指標を提案する。 ANLS*メトリックは、既存のANLSメトリクスをドロップ・イン・リプレースとして拡張し、以前報告されたANLSスコアと互換性がある。 また、SFTと呼ばれる文書のプロンプトを生成する新しい手法を、LATINなどの他のプロンプト技術に対してベンチマークする。
  論文  参考訳（メタデータ） (2024-02-06T09:50:08Z)
• Does Recommend-Revise Produce Reliable Annotations? An Analysis on Missing Instances in DocRED [60.39125850987604]
  テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。 より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
  論文  参考訳（メタデータ） (2022-04-17T11:29:01Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• Complex Event Forecasting with Prediction Suffix Trees: Extended Technical Report [70.7321040534471]
  複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。 このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。 複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-01T09:52:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。