論文の概要: Code Health in LLM-Based Test Generation: Effectiveness and Token Efficiency

• arxiv url: http://arxiv.org/abs/2608.18645v1
• Date: Wed, 19 Aug 2026 07:47:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.324818
• Title: Code Health in LLM-Based Test Generation: Effectiveness and Token Efficiency
• Title（参考訳）: LLMベースのテスト生成におけるコードヘルス:有効性とトークン効率
• Abstract要約: LLM(Large Language Models)を利用したコーディングエージェントは、現在、ソフトウェア工学において顕著である。 これまでの研究によると、AIツールはメンテナンスが容易な高品質のソースコードでパフォーマンスが向上している。 我々は,CodeSceneのCodeHealthで測定された保守性レベルによって,LLM生成単体テストの有効性がどう変化するかを検討する。
• 参考スコア（独自算出の注目度）: 4.507833066754929
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coding agents powered by Large Language Models (LLMs) are now prominent in software engineering. Previous work has shown that AI tools perform better on high-quality source code that is easy to maintain. In this study, we investigate how the effectiveness of LLM-generated unit tests varies across maintainability levels measured by CodeScene's CodeHealth (CH). We assess test effectiveness using traditional coverage metrics and mutation score across Python, Java, and C++. Moreover, we study how code with different levels of CH translates into input tokens using common industrial tokenizers. Our results suggest that CH provides a weak but consistent signal of LLM-generated test effectiveness and is negatively correlated with input-token count. These findings provide further evidence for a relationship between maintainability and LLM-based software development.
• Abstract（参考訳）: LLM(Large Language Models)を利用したコーディングエージェントは、現在、ソフトウェア工学において顕著である。 これまでの研究によると、AIツールはメンテナンスが容易な高品質のソースコードでパフォーマンスが向上している。 本研究では, CodeScene の CodeHealth (CH) で測定した保守性レベルによって, LLM 生成単体テストの有効性がどう変化するかを検討する。 従来のカバレッジメトリクスとPython,Java,C++間の突然変異スコアを用いて,テストの有効性を評価する。 さらに,CHレベルの異なるコードがどのように入力トークンに変換されるのかを,共通産業用トークン化器を用いて検討した。 以上の結果から,CHはLLM生成試験の有効性の弱いが一貫した信号であり,入力トーケン数と負の相関があることが示唆された。 これらの知見は、保守性とLCMベースのソフトウェア開発との関係のさらなる証拠となる。

関連論文リスト

• Protocode: Prototype-Driven Interpretability for Code Generation in LLMs [5.8296917468117835]
  大規模言語モデル(LLM)は、テキスト要約、質問応答、音声からテキストへの翻訳など、様々なタスクに広く採用されている。 我々の研究は、モデルの性能を改善し、生成されたコードの解釈可能性を高めることができるインコンテキスト学習(ICL)のデモを自動的にサンプリングすることに焦点を当てている。
  論文  参考訳（メタデータ） (2025-09-27T00:32:45Z)
• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• Is Compression Really Linear with Code Intelligence? [60.123628177110206]
  textitFormat Annealingは、事前訓練されたモデルの本質的な能力を同等に評価するために設計された、軽量で透明なトレーニング手法である。 我々の経験的結果は、測定されたコードインテリジェンスとビット・パー・キャラクタ(BPC)の基本的な対数関係を明らかにする。 私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。
  論文  参考訳（メタデータ） (2025-05-16T16:59:14Z)
• Improving the Readability of Automatically Generated Tests using Large Language Models [7.7149881834358345]
  探索型ジェネレータの有効性とLLM生成試験の可読性を組み合わせることを提案する。 提案手法は,検索ツールが生成するテスト名や変数名の改善に重点を置いている。
  論文  参考訳（メタデータ） (2024-12-25T09:08:53Z)
• Examination of Code generated by Large Language Models [35.51378656555693]
  大規模言語モデル(LLM)は、コード生成を自動化することでソフトウェア開発を変革している。 高品質のコード生成におけるLCMの現状を評価するため,ChatGPTとCopilotを用いた制御実験を行った。 言語間, アルゴリズムとテストコード間, 時間とともに, LLM間で有意な差異が認められた。
  論文  参考訳（メタデータ） (2024-08-29T15:12:16Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
  原符号とLLM書き換え版との類似性に基づく新しいゼロショット合成符号検出器を提案する。 以上の結果から,既存のSOTA合成コンテンツ検出装置よりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2024-05-25T08:57:28Z)
• Assured LLM-Based Software Engineering [51.003878077888686]
  この記事では,2024年4月15日にポルトガルのリスボンで開催された International Workshop on Interpretability, Robustness, and Benchmarking in Neural Software Engineering で,Mark Harman 氏による基調講演の内容の概要を紹介する。
  論文  参考訳（メタデータ） (2024-02-06T20:38:46Z)
• Testing LLMs on Code Generation with Varying Levels of Prompt Specificity [0.0]
  大規模言語モデル (LLM) は、人間のようなテキスト生成と処理を模倣する非並列的な技術を示している。 自然言語のプロンプトを実行可能なコードに変換する可能性は、ソフトウェア開発プラクティスの大きな変化を約束します。
  論文  参考訳（メタデータ） (2023-11-10T23:41:41Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation [20.45045253933097]
  LLM合成コードの機能的正しさを厳格に評価するコード合成評価フレームワークであるEvalPlusを提案する。 EvalPlusは、自動テスト入力ジェネレータによって新たに生成された大量のテストケースで、所定の評価データセットを拡張する。 我々は、HumanEval+が、これまで検出されていなかった大量の間違ったコードをキャッチできることを示します。
  論文  参考訳（メタデータ） (2023-05-02T05:46:48Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)
• An Exploratory Study on Code Attention in BERT [8.488193857572211]
  コード上でのPLMの注意行動を調査し,それを自然言語と比較する。 BERT は NLP において最も注目されているトークンとは対照的に,特に識別子やセパレータといった構文上のエンティティに注意を払っている。 この発見は、NLPで使われる一般的な埋め込みを使わずに、コード固有の表現を使用することで、研究コミュニティの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2022-04-05T21:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。