論文の概要: Programmer Visual Attention During Context-Aware Code Summarization
- arxiv url: http://arxiv.org/abs/2405.18573v1
- Date: Tue, 28 May 2024 20:48:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 21:43:38.672495
- Title: Programmer Visual Attention During Context-Aware Code Summarization
- Title（参考訳）: コンテキスト認識型コードの要約におけるプログラマの視覚的注意
- Authors: Aakash Bansal, Robert Wallace, Zachary Karas, Ningzhi Tang, Yu Huang, Toby Jia-Jun Li, Collin McMillan,
- Abstract要約: 要約を書いている間、私たちは視線追跡装置を使ってプログラマの視覚的注意をマッピングしました。
プログラマは単語の読み出しを著しく減らし(p0.01)、単語の書き直しを著しく減らさなければならないことがわかった。
- 参考スコア（独自算出の注目度）: 11.094887590751028
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Abridged: Programmer attention represents the visual focus of programmers on parts of the source code in pursuit of programming tasks. We conducted an in-depth human study with XY Java programmers, where each programmer generated summaries for 40 methods from five large Java projects over five one-hour sessions. We used eye-tracking equipment to map the visual attention of programmers while they wrote the summaries. We also rate the quality of each summary. We found eye-gaze patterns and metrics that define common behaviors between programmer attention during context-aware code summarization. Specifically, we found that programmers need to read significantly (p<0.01) fewer words and make significantly fewer revisits to words (p\textless0.03) as they summarize more methods during a session, while maintaining the quality of summaries. We also found that the amount of source code a participant looks at correlates with a higher quality summary, but this trend follows a bell-shaped curve, such that after a threshold reading more source code leads to a significant decrease (p<0.01) in the quality of summaries. We also gathered insight into the type of methods in the project that provide the most contextual information for code summarization based on programmer attention. Specifically, we observed that programmers spent a majority of their time looking at methods inside the same class as the target method to be summarized. Surprisingly, we found that programmers spent significantly less time looking at methods in the call graph of the target method. We discuss how our empirical observations may aid future studies towards modeling programmer attention and improving context-aware automatic source code summarization.
- Abstract（参考訳）: Abridged: プログラマの注意は、プログラマがプログラミングタスクを追求する上で、ソースコードの一部を視覚的に重視することを示しています。
XY Javaプログラマは5つの大きなJavaプロジェクトから5時間のセッションで40のメソッドの要約を作成しました。
要約を書いている間、私たちは視線追跡装置を使ってプログラマの視覚的注意をマッピングしました。
また、各要約の質も評価する。
我々は、コンテキスト認識コードの要約中に、プログラマの注意の間で共通の振る舞いを定義する視線パターンとメトリクスを発見した。
具体的には,要約の質を維持しつつ,セッション中に多くのメソッドを要約するので,プログラマは単語の読み出しを著しく減らし(p<0.01)、単語の書き直しを著しく減らさなければなりません(p\textless0.03)。
また、参加者が見ているソースコードの量は、より高品質な要約と相関することがわかったが、この傾向は、しきい値を読み上げた後、要約の質が大幅に低下する(p<0.01)。
我々はまた、プログラマの注意に基づくコード要約のための最も文脈的な情報を提供するプロジェクトにおけるメソッドの種類についての洞察を集めた。
具体的には、プログラマが対象とするメソッドと同じクラス内でメソッドを見るのに多くの時間を費やしたことを観察した。
驚いたことに、プログラマは対象のメソッドのコールグラフのメソッドを見るのに、はるかに時間を費やすことができませんでした。
我々は,経験的観察がプログラマの注意をモデル化し,文脈認識によるソースコードの自動要約を改善するための将来の研究にどのように役立つかについて議論する。
関連論文リスト
- Do Machines and Humans Focus on Similar Code? Exploring Explainability
of Large Language Models in Code Summarization [10.201463330812167]
人間の理解のレンズによるコード要約における言語モデルの説明可能性に関する調査の結果を報告する。
我々は、現在最先端のモデル非依存、ブラックボックス、摂動に基づくアプローチであるSHAPを用いて、どのコードトークンが要約の生成に影響を与えるかを特定する。
本研究は、SHAPに基づくモデル焦点測定と人間の焦点を合わせることができないことを明らかにする。
論文 参考訳（メタデータ） (2024-02-22T00:01:02Z) - Refactoring Programs Using Large Language Models with Few-Shot Examples [20.48175387745551]
ユーザ記述型Pythonプログラムのより複雑なバージョンを提案するために,大規模言語モデル (LLM) である GPT-3.5 を用いることを実演する。
95.68%のプログラムは、それぞれ10の候補を発生させ、結果として平均的なサイクロマティックな複雑さが17.35%減少することを示した。
論文 参考訳（メタデータ） (2023-11-20T11:43:45Z) - Collaborative, Code-Proximal Dynamic Software Visualization within Code
Editors [55.57032418885258]
本稿では,コードエディタに組み込むソフトウェアビジュアライゼーション手法の設計と実装について紹介する。
私たちのコントリビューションは、ソフトウェアシステムの実行時の動作の動的解析を使用するという点で、関連する作業と異なります。
私たちの視覚化アプローチは、一般的なリモートペアプログラミングツールを強化し、共有コード都市を利用することで協調的に使用できます。
論文 参考訳（メタデータ） (2023-08-30T06:35:40Z) - Understanding Programs by Exploiting (Fuzzing) Test Cases [26.8259045248779]
プログラムのより深い意味理解を実現するために,入力と出力/振る舞いの関係を学習に取り入れることを提案する。
コードの大部分の実行をトリガーするのに十分な入力を得るために,ファズテストを採用し,ファズチューニングを提案する。
提案手法の有効性は,コードクローン検出とコード分類を含む2つのプログラム理解タスクにおいて検証され,最先端技術よりも大きなマージンで優れている。
論文 参考訳（メタデータ） (2023-05-23T01:51:46Z) - Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。
自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。
提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
論文 参考訳（メタデータ） (2022-05-28T03:31:07Z) - Less is More: Summary of Long Instructions is Better for Program
Synthesis [20.66688303609522]
事前学習された言語モデル(LM)は、複雑な質問の要約版から恩恵を受けることを示す。
この結果から,問題記述に多量の情報が存在することは,課題理解のモデルには役に立たないことがわかった。
Codexの実験結果から,提案手法の精度は平均8.13%向上した。
論文 参考訳（メタデータ） (2022-03-16T13:04:12Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Enforcing Consistency in Weakly Supervised Semantic Parsing [68.2211621631765]
本稿では,関連する入力に対する出力プログラム間の整合性を利用して,スプリアスプログラムの影響を低減することを提案する。
より一貫性のあるフォーマリズムは、一貫性に基づくトレーニングを必要とせずに、モデルパフォーマンスを改善することにつながります。
論文 参考訳（メタデータ） (2021-07-13T03:48:04Z) - Latent Programmer: Discrete Latent Codes for Program Synthesis [56.37993487589351]
プログラム合成や文書要約などの多くのシーケンス学習タスクにおいて、重要な問題は出力シーケンスの広い空間を探索することである。
本稿では,検索対象とする出力の表現を学習することを提案する。
本稿では,まず入力/出力サンプルから離散潜在コードを予測するプログラム合成手法であるemphLatent Programmerを紹介し,そのプログラムを対象言語で生成する。
論文 参考訳（メタデータ） (2020-12-01T10:11:35Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳（メタデータ） (2020-05-01T23:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。