論文の概要: Talking to Itself While Coding: What Makes Comments Help Code Generation?

• arxiv url: http://arxiv.org/abs/2609.09242v1
• Date: Tue, 08 Sep 2026 08:05:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.743176
• Title: Talking to Itself While Coding: What Makes Comments Help Code Generation?
• Title（参考訳）: コーディング中に自分自身に話す: コード生成に役立つコメントは何か?
• Abstract要約: コメントのどの特性がコード生成性能に影響を与えるかを検討する。 LiveCodeBenchでは、コメント頻度も広範コメント意図も確実にpass@1を予測しない。 次に、より弱い受信者モデルに、より強力なソースモデルによって書かれたコメントブロックをプリフィルします。
• 参考スコア（独自算出の注目度）: 9.871956352991056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) often generate natural-language comments while writing code, and these comments become part of the context used to generate the code that follows. However, it remains unclear which properties of comments affect code-generation performance. We study this question through observational analyses and controlled interventions. On LiveCodeBench, neither comment frequency nor broad comment intent reliably predicts pass@1. We then prefill weaker recipient models with comment blocks written by stronger source models, allowing us to separate comment surface form from the solution content they convey. Comments from source solutions that pass the tests raise recipient pass@1 by 17.2% on average. In contrast, comments describing failed solutions provide no reliable gain, while comments written for a different problem reduce pass@1 by 20.8%. Finally, across a wide range of models and prompt variants, most recipient models show no significant recovery of the external-comment gain, and the best case recovers only 24%. These results show that comments help code generation not merely because they are comments, but because they can provide correct solution content that prompting cannot reliably elicit.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、コードを書きながら自然言語のコメントを生成することが多く、これらのコメントは後続するコードを生成するために使われるコンテキストの一部となる。 しかし、どのコメント特性がコード生成性能に影響するかは定かではない。 本研究では、観察分析と制御介入を通してこの問題を考察する。 LiveCodeBenchでは、コメント頻度も広範コメント意図も確実にpass@1を予測しない。 次に、より弱い受信者モデルに、より強力なソースモデルによって書かれたコメントブロックをプリフィルします。 テストに合格したソースソリューションからのコメントは、受信者のpass@1を平均17.2%上昇させた。 対照的に、失敗したソリューションを説明するコメントは信頼できないが、別の問題のために書かれたコメントはpass@1を20.8%削減する。 最後に、幅広いモデルとプロンプト変種において、ほとんどの受取手モデルは、外部積算ゲインの顕著な回復を示さず、最良のケースは24%しか回復しない。 これらの結果から,コメントがコード生成に役立つのは,コメントであるだけでなく,適切なソリューションコンテンツを提供することができるため,確実に引用することができないことが示唆された。

関連論文リスト

• "Go Home Copilot, You're Drunk": Understanding Developer Responses to Agent-Generated Code Review Comments [11.53008696469705]
  本稿では,エージェント生成コードレビューコメントの解決に関する大規模な実証的研究について紹介する。 GitHub上の342ドルのPythonリポジトリで、広く使われている5つのコーディングエージェントが生成した54,791のコメントを分析します。 以上の結果から、解決率はエージェントによって大きく異なり、Copilotは解決されたコメントの大多数を占めています。
  論文  参考訳（メタデータ） (2026-07-24T05:51:48Z)
• What Types of Code Review Comments Do Developers Most Frequently Resolve? [10.277847378685161]
  コードレビューコメントを生成するために,LLM(Large Language Model)を使用したコードレビュー自動化ツールが導入されている。 本稿では、人間やLLMが書いたレビューコメントのタイプと、開発者が最も頻繁に解決しているコメントのタイプについて検討する。
  論文  参考訳（メタデータ） (2025-10-06T23:32:26Z)
• Turning the Tide: Repository-based Code Reflection [52.13709676656648]
  マルチファイルリポジトリコンテキストにおけるコード理解と生成を評価するベンチマークであるLiveRepoReflectionを紹介する。 多様性、正確性、難易度を確保するため、6ドル(約6,800円)のプログラミング言語で厳格にテストケースをフィルタリングしました。 RepoReflection-Instructは、さまざまなソースから派生した大規模で品質の高い命令チューニングデータセットである。
  論文  参考訳（メタデータ） (2025-07-14T02:36:27Z)
• Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
  GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。 改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
  論文  参考訳（メタデータ） (2024-10-29T12:21:23Z)
• Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
  本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。 その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。 論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
  論文  参考訳（メタデータ） (2024-04-11T08:30:46Z)
• Are your comments outdated? Towards automatically detecting code-comment consistency [3.204922482708544]
  古いコメントは危険で有害であり、その後の開発者を誤解させる可能性がある。 コードとコメントの一貫性を検出するための,CoCCと呼ばれる学習手法を提案する。 実験の結果,COCCは90%以上の精度で時代遅れのコメントを効果的に検出できることがわかった。
  論文  参考訳（メタデータ） (2024-03-01T03:30:13Z)
• What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
  我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。 ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。 このフィードバックの有効性を,文脈内学習を通じて評価する。
  論文  参考訳（メタデータ） (2023-11-16T04:26:32Z)
• ViCo: Engaging Video Comment Generation with Human Preference Rewards [68.50351391812723]
  ビデオコメント生成の課題に対処するために,3つの新しいデザインのViCoを提案する。 コメントのエンゲージメントを定量化するために、各コメントが受け取る「いいね! コメントのエンゲージメントを自動的に評価するために、我々は報酬モデルをトレーニングし、その判断を上記のプロキシに合わせる。
  論文  参考訳（メタデータ） (2023-08-22T04:01:01Z)
• ReCode: Robustness Evaluation of Code Generation Models [90.10436771217243]
  コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。 ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。 ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
  論文  参考訳（メタデータ） (2022-12-20T14:11:31Z)
• Code Comment Inconsistency Detection with BERT and Longformer [9.378041196272878]
  ソースコードの自然言語記述であるコメントは、ソフトウェア開発者の間で標準的なプラクティスである。 コメントに付随する修正を加えずにコードを変更すると、コメントとコードの間に矛盾が生じます。 本研究では,自然言語推論(NLI)の文脈における不整合を検出するための2つのモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-29T02:43:51Z)
• Deep Just-In-Time Inconsistency Detection Between Comments and Source Code [51.00904399653609]
  本稿では,コード本体の変更によりコメントが矛盾するかどうかを検出することを目的とする。 私たちは、コメントとコードの変更を関連付けるディープラーニングアプローチを開発しています。 より包括的な自動コメント更新システムを構築するために,コメント更新モデルと組み合わせて提案手法の有用性を示す。
  論文  参考訳（メタデータ） (2020-10-04T16:49:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。