論文の概要: The Impact of Documentation on Test Engagement in Pull Requests in OSS
- arxiv url: http://arxiv.org/abs/2604.23048v1
- Date: Fri, 24 Apr 2026 22:16:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.117996
- Title: The Impact of Documentation on Test Engagement in Pull Requests in OSS
- Title（参考訳）: OSSにおけるプルリクエストにおける文書化がテストエンゲージメントに及ぼす影響
- Authors: Teal Amore, Nathan Berman, Siyuan Jiang,
- Abstract要約: テストに関するドキュメンテーションとコントリビュータのテスト行動の関係について検討する。
160のOSSリポジトリのデータを使用して、ドキュメントの包括性とテストエンゲージメント比の関係を分析します。
この結果から,テストに関するドキュメントは,テストのエンゲージメントの増加と関連している可能性が示唆された。
- 参考スコア（独自算出の注目度）: 2.0239648986804757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated testing is crucial for maintaining open-source software quality. However, motivating contributors to include tests for code changes remains a challenge. While existing interventions, such as code coverage metrics and reviewer feedback, are often reactive and applied only after a pull request is opened, this study investigates whether documentation on testing can serve as a proactive measure to encourage testing behavior. In this work, we investigate the relationship between documentation on testing and contributor testing behavior. We introduce the Test Engagement Ratio (TER) to help understand testing frequency. Using data from 160 OSS repositories, we analyze the relationship between documentation comprehensiveness and TER. Our results show a weak but statistically significant positive correlation ($ρ=0.36$, $p<0.001$), which strengthens to a moderate relationship ($ρ=0.44$) in repositories with higher pull request activity. Documentation categories such as How to Run Tests and How to Write Tests show the strongest correlation with testing engagement. Furthermore, TER is found to be moderately correlated ($ρ=0.52$, $p<0.001$) with Test Code Ratio, providing preliminary evidence of its validity. Our findings suggest that documentation on testing may be associated with increased testing engagement. Future work will explore causality, documentation quality at a granular level, and cross-repository exposure effects.
- Abstract（参考訳）: オープンソースのソフトウェア品質を維持するためには、自動テストが不可欠だ。
しかしながら、コード変更のテストを含めるためのコントリビュータのモチベーションは、依然として課題である。
コードカバレッジのメトリクスやレビュアのフィードバックといった既存の介入はプルリクエストがオープンした後にのみ反応し、適用されることが多いが、本研究では、テストに関するドキュメントがテストの振る舞いを促進するための積極的手段であるかどうかを調査する。
本研究では,テストに関するドキュメンテーションとコントリビュータのテスト行動の関係について検討する。
テスト頻度の理解を支援するために、テストエンゲージメント比(TER)を導入します。
160のOSSリポジトリのデータを用いて、ドキュメントの包括性とTERの関係を分析します。
その結果, プル要求活性の高いリポジトリでは, 弱いが統計的に有意な相関(ρ=0.36$, $p<0.001$)が認められた。
How to Run TestsやHow to Write Testsといったドキュメントカテゴリは、テストのエンゲージメントと最も強い相関関係を示している。
さらに、TERはテストコード比と適度に相関している(ρ=0.52$, $p<0.001$)。
この結果から,テストに関するドキュメントは,テストのエンゲージメントの増加と関連している可能性が示唆された。
今後の作業では、因果関係、ドキュメントの品質を粒度レベルで調査し、リポジトリ間の露出効果について検討する予定である。
関連論文リスト
- Rethinking the Value of Agent-Generated Tests for LLM-Based Software Engineering Agents [20.29427807019999]
大規模言語モデル(LLM)コードエージェントは、コードの反復的な編集、ツールの呼び出し、候補パッチの検証によって、リポジトリレベルの問題を徐々に解決している。
エージェントはしばしばテストを書くが、これはSWEベンチのリーダーボード上で多くの上級エージェントが採用しているパラダイムである。
このようなテストが問題解決を有意義に改善したのか、それとも、実際の相互作用予算を消費しながら、単に人間のテストプラクティスを模倣しただけなのか。
論文 参考訳（メタデータ） (2026-02-08T10:26:31Z) - Do Autonomous Agents Contribute Test Code? A Study of Tests in Agentic Pull Requests [1.2043574473965317]
AIDevデータセットを用いたエージェントプルリクエストにおけるテストインクルージョンに関する実証的研究を行った。
テストを含むPRは時間とともに一般的になり、より大きくなり、完成までに時間がかかる傾向にある。
また、テストPRにおけるテスト採用とテストコードと運用コードのバランスの両方において、エージェント間のばらつきも観察します。
論文 参考訳（メタデータ） (2026-01-07T03:52:13Z) - Intention-Driven Generation of Project-Specific Test Cases [45.2380093475221]
検証意図の記述からプロジェクト固有のテストを生成するIntentionTestを提案する。
13のオープンソースプロジェクトから4,146件のテストケースで,最先端のベースライン(DA, ChatTester, EvoSuite)に対してIntentionTestを広範囲に評価した。
論文 参考訳（メタデータ） (2025-07-28T08:35:04Z) - A Sample Efficient Conditional Independence Test in the Presence of Discretization [54.047334792855345]
離散化されたデータに直接条件付き独立テスト(CI)は、誤った結論につながる可能性がある。
最近の進歩は、観測データをバイナライズすることで、潜伏変数間の適切なCI関係を推測することを目指している。
そこで本研究では,バイナライゼーションプロセスに依存しないサンプル効率のCIテストを提案する。
論文 参考訳（メタデータ） (2025-06-10T12:41:26Z) - Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。
最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
論文 参考訳（メタデータ） (2024-10-31T15:06:16Z) - Do Test and Environmental Complexity Increase Flakiness? An Empirical Study of SAP HANA [47.29324864511411]
不安定なテストはコードの変更なしにランダムに失敗する。
テストの特徴と,テストのフレキネスに影響を与える可能性のあるテスト環境について検討する。
論文 参考訳（メタデータ） (2024-09-16T07:52:09Z) - Which Combination of Test Metrics Can Predict Success of a Software Project? A Case Study in a Year-Long Project Course [1.553083901660282]
テストはソフトウェア開発プロジェクトの成功を保証する上で重要な役割を担います。
種々のテストが機能的適合性に与える影響を定量化できるかどうかを検討する。
論文 参考訳（メタデータ） (2024-08-22T04:23:51Z) - Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。
完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
論文 参考訳（メタデータ） (2024-04-07T22:31:34Z) - Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。
Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。
複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文 参考訳（メタデータ） (2023-11-28T02:00:47Z) - Mobile App Crowdsourced Test Report Consistency Detection via Deep
Image-and-Text Fusion Understanding [13.180855645914928]
画像とテキストの融合理解によるクラウドソーシングテストレポートの一貫性を検出するためにReCoDeを提案する。
我々は、ReCoDeを評価するために、22k以上のテストレポートを持つデータセットで実験を行う。
論文 参考訳（メタデータ） (2021-08-17T02:02:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。