論文の概要: Exceptional Behaviors: How Frequently Are They Tested?
- arxiv url: http://arxiv.org/abs/2602.05123v1
- Date: Wed, 04 Feb 2026 23:15:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-06 18:49:08.664083
- Title: Exceptional Behaviors: How Frequently Are They Tested?
- Title(参考訳): 例外的振る舞い: どの程度頻繁にテストされているか?
- Authors: Andre Hora, Gordon Fraser,
- Abstract要約: テストスイートの計器バージョンを実行し、実行を監視し、実行時に発生した例外に関する情報を収集します。
我々は、25のPythonシステムのテストスイートを分析し、5,372のメソッド、17.9Mの呼び出し、1.4Mの上昇した例外をカバーした。
例外を発生させる手法の80%近くは、頻繁に発生するが、20%ほどは例外を発生させる。
- 参考スコア(独自算出の注目度): 10.004295333072948
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Exceptions allow developers to handle error cases expected to occur infrequently. Ideally, good test suites should test both normal and exceptional behaviors to catch more bugs and avoid regressions. While current research analyzes exceptions that propagate to tests, it does not explore other exceptions that do not reach the tests. In this paper, we provide an empirical study to explore how frequently exceptional behaviors are tested in real-world systems. We consider both exceptions that propagate to tests and the ones that do not reach the tests. For this purpose, we run an instrumented version of test suites, monitor their execution, and collect information about the exceptions raised at runtime. We analyze the test suites of 25 Python systems, covering 5,372 executed methods, 17.9M calls, and 1.4M raised exceptions. We find that 21.4% of the executed methods do raise exceptions at runtime. In methods that raise exceptions, on the median, 1 in 10 calls exercise exceptional behaviors. Close to 80% of the methods that raise exceptions do so infrequently, but about 20% raise exceptions more frequently. Finally, we provide implications for researchers and practitioners. We suggest developing novel tools to support exercising exceptional behaviors and refactoring expensive try/except blocks. We also call attention to the fact that exception-raising behaviors are not necessarily "abnormal" or rare.
- Abstract(参考訳): 例外により、開発者は頻繁に発生すると思われるエラーケースを処理できる。
理想的には、優れたテストスイートは、より多くのバグをキャッチし、レグレッションを避けるために、通常の動作と例外的な動作の両方をテストするべきです。
現在の研究では、テストに伝播する例外を分析しているが、テストに到達しない他の例外は探索していない。
本稿では,実世界のシステムにおいて,例外的な動作がどの程度頻繁にテストされるかを実証研究する。
テストに伝播する例外と、テストに到達しない例外の両方を考慮する。
この目的のために、テストスイートの計器バージョンを実行し、実行を監視し、実行時に発生した例外に関する情報を収集します。
我々は、25のPythonシステムのテストスイートを分析し、5,372のメソッド、17.9Mの呼び出し、1.4Mの上昇した例外をカバーした。
実行中のメソッドの21.4%が実行時に例外を発生させることがわかった。
例外を発生させるメソッドでは、中央値の10分の1の呼び出しは例外的な振る舞いを実行する。
例外を発生させる手法の80%近くは、頻繁に発生するが、20%ほどは例外を発生させる。
最後に、研究者や実践者に意味を与えます。
例外的な動作の実施と高価な試行/例外ブロックのリファクタリングを支援する新しいツールの開発を提案する。
また,例外発生行動が必ずしも「異常」あるいはまれであるとは限らないという事実にも注意を払っている。
関連論文リスト
- Test Behaviors, Not Methods! Detecting Tests Obsessed by Methods [3.6417668958891785]
複数の振る舞いを検証するテストは理解が難しく、フォーカスが欠如し、本番コードとより結びついています。
本稿では, 単一生産方式の複数経路をカバーするテスト手法であるemphTest Obsessed by Methodを提案する。
論文 参考訳(メタデータ) (2026-01-31T14:58:39Z) - A Tool for Generating Exceptional Behavior Tests With Large Language Models [36.97613436193272]
異常行動テスト(EBT)を自動的に生成するフレームワークであるexLongについて述べる。
ExLongには、例外スロートレース、スローステートメントを保護する条件式、同様のトレースを実行する例外的動作テストに関する推論が含まれている。
デモビデオは、exLongが開発者のプロジェクトのための総合的なETT作成を効果的に支援する方法を示しています。
論文 参考訳(メタデータ) (2025-05-28T19:53:20Z) - Studying the Impact of Early Test Termination Due to Assertion Failure on Code Coverage and Spectrum-based Fault Localization [48.22524837906857]
本研究は,アサーション障害による早期検査終了に関する最初の実証的研究である。
6つのオープンソースプロジェクトの207バージョンを調査した。
以上の結果から,早期検査終了は,コードカバレッジとスペクトルに基づく障害局所化の有効性の両方を損なうことが示唆された。
論文 参考訳(メタデータ) (2025-04-06T17:14:09Z) - Seeker: Towards Exception Safety Code Generation with Intermediate Language Agents Framework [58.36391985790157]
現実世界のソフトウェア開発では、不適切な例外処理がコードの堅牢性と信頼性に重大な影響を与えます。
コードにおける例外処理を改善するために,大規模言語モデル (LLM) の利用について検討する。
例外処理のエキスパート開発者戦略に触発されたマルチエージェントフレームワークであるSeekerを提案する。
論文 参考訳(メタデータ) (2024-12-16T12:35:29Z) - Towards Exception Safety Code Generation with Intermediate Representation Agents Framework [54.03528377384397]
大規模言語モデル(LLM)は、しばしば生成されたコードの堅牢な例外処理に苦しむ。
中間表現(IR)アプローチにより,LLM生成コードの例外安全性を実現する新しいマルチエージェントフレームワークであるSeekerを提案する。
Seekerは例外処理をScanner, Detector, Predator, Ranker, Handlerの5つの特殊エージェントに分解する。
論文 参考訳(メタデータ) (2024-10-09T14:45:45Z) - exLong: Generating Exceptional Behavior Tests with Large Language Models [41.145231237535356]
ExLongは、例外的な振る舞いテストを自動的に生成するフレームワークである。
これは、スローステートメントにつながるトレース、スローステートメントを保護する条件式、例外的でない振る舞いテストに関する推論を埋め込んでいる。
我々はexLongをテスト生成のための最先端モデル(CAT-LM)と最強基礎モデル(GPT-4o)の1つと比較する。
論文 参考訳(メタデータ) (2024-05-23T14:28:41Z) - Observation-based unit test generation at Meta [52.4716552057909]
TestGenは、アプリケーション実行中に観察された複雑なオブジェクトのシリアライズされた観察から作られたユニットテストを自動的に生成する。
TestGenは518のテストを本番環境に投入し、継続的統合で9,617,349回実行され、5,702の障害が見つかった。
評価の結果,信頼性の高い4,361のエンドツーエンドテストから,少なくとも86%のクラスでテストを生成することができた。
論文 参考訳(メタデータ) (2024-02-09T00:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。