論文の概要: Follow-up Attention: An Empirical Study of Developer and Neural Model Code Exploration
- arxiv url: http://arxiv.org/abs/2210.05506v2
- Date: Thu, 29 Aug 2024 14:36:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 19:54:50.066772
- Title: Follow-up Attention: An Empirical Study of Developer and Neural Model Code Exploration
- Title(参考訳): フォローアップ注意: 開発者とニューラルモデルコードの探索に関する実証的研究
- Authors: Matteo Paltenghi, Rahul Pandita, Austin Z. Henley, Albert Ziegler,
- Abstract要約: OpenAI CodexやAlphaCodeといった最近のコードニューラルモデルは、コード生成において顕著な習熟性を示している。
しかしながら、モデルが実際にどのようにコードを処理しているか、その理由や注意機構がどのようにコードをスキャンするかが開発者のパターンとどのように一致しているかは、よくわからない。
この研究は、CodeGen、InCoder、GPT-Jの3つのオープンな言語モデルの処理された注意信号が、開発者がどのようにコードを見て探索するかにどのように一致するかを研究する。
- 参考スコア(独自算出の注目度): 6.060235526273212
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent neural models of code, such as OpenAI Codex and AlphaCode, have demonstrated remarkable proficiency at code generation due to the underlying attention mechanism. However, it often remains unclear how the models actually process code, and to what extent their reasoning and the way their attention mechanism scans the code matches the patterns of developers. A poor understanding of the model reasoning process limits the way in which current neural models are leveraged today, so far mostly for their raw prediction. To fill this gap, this work studies how the processed attention signal of three open large language models - CodeGen, InCoder and GPT-J - agrees with how developers look at and explore code when each answers the same sensemaking questions about code. Furthermore, we contribute an open-source eye-tracking dataset comprising 92 manually-labeled sessions from 25 developers engaged in sensemaking tasks. We empirically evaluate five heuristics that do not use the attention and ten attention-based post-processing approaches of the attention signal of CodeGen against our ground truth of developers exploring code, including the novel concept of follow-up attention which exhibits the highest agreement between model and human attention. Our follow-up attention method can predict the next line a developer will look at with 47% accuracy. This outperforms the baseline prediction accuracy of 42.3%, which uses the session history of other developers to recommend the next line. These results demonstrate the potential of leveraging the attention signal of pre-trained models for effective code exploration.
- Abstract(参考訳): OpenAI CodexやAlphaCodeといった最近のコードニューラルモデルは、その基盤となる注意機構によって、コード生成に顕著な習熟性を示している。
しかしながら、モデルが実際にどのようにコードを処理しているか、その理由や注意機構がどのようにコードをスキャンするかが開発者のパターンとどのように一致しているかは、よくわからない。
モデル推論プロセスの理解が不十分なため、現在のニューラルモデルの利用方法が制限されている。
このギャップを埋めるために、この研究は、CodeGen、InCoder、GPT-Jの3つのオープンな言語モデルの処理された注意信号が、開発者がコードについて同じ意味のある疑問に答えるときに、どのようにコードを見て探索するかにどのように一致するかを研究する。
さらに,センスメイキングタスクに従事する25人の開発者を対象に,92のセッションを手作業でラベル付けした,オープンソースのアイトラッキングデータセットを寄贈した。
我々は,CodeGenの注意信号に注意を使わない5つのヒューリスティックと10の注意に基づくポストプロセッシングアプローチを経験的に評価した。
私たちのフォローアップアテンション手法は、開発者が次に見る行を47%の精度で予測できます。
これは42.3%のベースライン予測精度を上回り、他の開発者のセッション履歴を使って次の行を推奨する。
これらの結果は、訓練済みモデルの注意信号を利用して効果的なコード探索を行う可能性を示している。
関連論文リスト
- Toward Exploring the Code Understanding Capabilities of Pre-trained Code Generation Models [12.959392500354223]
私たちは、事前訓練されたコード生成モデルからコード理解タスクへの知識の移行の先駆者です。
CL4Dはデコーダのみのモデルの表現能力を向上させるために設計された,コントラスト学習手法である。
論文 参考訳(メタデータ) (2024-06-18T06:52:14Z) - Automatic Discovery of Visual Circuits [66.99553804855931]
本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。
提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
論文 参考訳(メタデータ) (2024-04-22T17:00:57Z) - Naturalness of Attention: Revisiting Attention in Code Language Models [3.756550107432323]
CodeBERTのようなコードの言語モデルは、高度なソースコード表現を学習する機能を提供するが、その不透明さは、取得したプロパティを理解する上で障壁となる。
本研究は、注意重みを超える注意機構のこれまで無視されていた要因について、いくつかの光を当てることを目的としている。
論文 参考訳(メタデータ) (2023-11-22T16:34:12Z) - MENTOR: Human Perception-Guided Pretraining for Increased Generalization [5.596752018167751]
MENTOR (huMan pErceptioN-guided preTraining fOr increased geneRalization) を紹介する。
我々は、クラスラベルを使わずに、入力された画像からヒトの唾液マップを学習するためにオートエンコーダを訓練する。
我々は、デコーダ部分を取り除き、エンコーダの上に分類層を追加し、従来の新しいモデルを微調整する。
論文 参考訳(メタデータ) (2023-10-30T13:50:44Z) - Towards Modeling Human Attention from Eye Movements for Neural Source
Code Summarization [6.435578628605734]
視線追跡データを用いて、人間の注意のモデルを作成します。
このモデルは、ソースコードのどの単語がコードの要約において最も重要なのかを予測する。
我々は、他のバイオインスパイアされたニューラルモデルに則って、拡張アプローチの予測性能の改善を観察する。
論文 参考訳(メタデータ) (2023-05-16T19:56:45Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳(メタデータ) (2023-01-30T12:38:31Z) - Discrete Key-Value Bottleneck [95.61236311369821]
ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。
この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。
しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。
この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
論文 参考訳(メタデータ) (2022-07-22T17:52:30Z) - What Makes Good Contrastive Learning on Small-Scale Wearable-based
Tasks? [59.51457877578138]
本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。
本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
論文 参考訳(メタデータ) (2022-02-12T06:10:15Z) - Data-Driven and SE-assisted AI Model Signal-Awareness Enhancement and
Introspection [61.571331422347875]
モデルの信号認識性を高めるためのデータ駆動型手法を提案する。
コード複雑性のSE概念とカリキュラム学習のAIテクニックを組み合わせる。
モデル信号認識における最大4.8倍の改善を実現している。
論文 参考訳(メタデータ) (2021-11-10T17:58:18Z) - Demystifying Code Summarization Models [5.608277537412537]
我々は、極端要約、code2vec、code2seq、Sequence GNNの4つの顕著なコード要約モデルを評価する。
結果は、すべてのモデルが意味的な意味をほとんど含まない構文的および語彙的特性に基づいて予測することを示している。
本稿では,トレーニングデータのレンズを用いて,コード要約モデルの予測を説明する新しい手法を提案する。
論文 参考訳(メタデータ) (2021-02-09T03:17:46Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳(メタデータ) (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。