論文の概要: Extracting Meaningful Attention on Source Code: An Empirical Study of
Developer and Neural Model Code Exploration
- arxiv url: http://arxiv.org/abs/2210.05506v1
- Date: Tue, 11 Oct 2022 14:58:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 15:19:49.739813
- Title: Extracting Meaningful Attention on Source Code: An Empirical Study of
Developer and Neural Model Code Exploration
- Title(参考訳): ソースコードに意味のある注意を抽出する:開発者とニューラルモデルコードの探索に関する実証的研究
- Authors: Matteo Paltenghi, Rahul Pandita, Austin Z. Henley, Albert Ziegler
- Abstract要約: この研究は、コード探索をサポートするためにこれらの貴重な注意重みを後処理する複数のアプローチを比較する。
具体的には,大規模かつ一般公開されたトレーニング済みのニューラルネットワークであるCodeGenの注目信号が,開発者がコードを見たり,探索したりする方法とどの程度一致しているかを比較した。
また,完全解析解を用いた事前学習モデルの注意信号の実用的適用についても紹介する。
- 参考スコア(独自算出の注目度): 4.644827993583995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The high effectiveness of neural models of code, such as OpenAI Codex and
AlphaCode, suggests coding capabilities of models that are at least comparable
to those of humans. However, previous work has only used these models for their
raw completion, ignoring how the model reasoning, in the form of attention
weights, can be used for other downstream tasks. Disregarding the attention
weights means discarding a considerable portion of what those models compute
when queried. To profit more from the knowledge embedded in these large
pre-trained models, this work compares multiple approaches to post-process
these valuable attention weights for supporting code exploration. Specifically,
we compare to which extent the transformed attention signal of CodeGen, a large
and publicly available pretrained neural model, agrees with how developers look
at and explore code when each answering the same sense-making questions about
code. At the core of our experimental evaluation, we collect, manually
annotate, and open-source a novel eye-tracking dataset comprising 25 developers
answering sense-making questions on code over 92 sessions. We empirically
evaluate five attention-agnostic heuristics and ten attention-based post
processing approaches of the attention signal against our ground truth of
developers exploring code, including the novel concept of follow-up attention
which exhibits the highest agreement. Beyond the dataset contribution and the
empirical study, we also introduce a novel practical application of the
attention signal of pre-trained models with completely analytical solutions,
going beyond how neural models' attention mechanisms have traditionally been
used.
- Abstract(参考訳): OpenAI CodexやAlphaCodeのようなコードのニューラルモデルの有効性は、少なくとも人間のものと同等のモデルのコーディング能力を示唆している。
しかし、従来の研究はこれらのモデルを生の完成のためにのみ使用しており、モデル推論が注意重みの形で他の下流タスクにどのように使用できるかを無視している。
注意重みを無視することは、それらのモデルが問い合わせた時に計算したもののかなりの部分を破棄することを意味する。
この研究は、これらの大規模な事前訓練モデルに埋め込まれた知識から利益を得るために、コード探索をサポートするためにこれらの貴重な注意重みを後処理する複数のアプローチを比較します。
具体的には、大きくて一般公開されているトレーニング済みのニューラルモデルであるcodegenの注意信号が、開発者がコードについて同じ意味を持つ質問に答えるときに、どのようにコードを見たり、探ったりするかを比較します。
実験的な評価の核心は、92セッション以上のコードでセンスメイキングの質問に答える25人の開発者からなる、新しいアイトラッキングデータセットを収集し、手作業で注釈付けし、オープンソースにしました。
コード探索を行う開発者の基礎的真実に対する注意信号の5つの注意非依存的ヒューリスティックと10の注意に基づくポスト処理アプローチを実証的に評価した。
データセットの寄与と実験的な研究以外にも、神経モデルの注意メカニズムが伝統的に用いられてきたことを超えて、完全に分析的な解決策を備えた事前訓練されたモデルの注意信号の新しい実践的応用も紹介する。
関連論文リスト
- Naturalness of Attention: Revisiting Attention in Code Language Models [3.756550107432323]
CodeBERTのようなコードの言語モデルは、高度なソースコード表現を学習する機能を提供するが、その不透明さは、取得したプロパティを理解する上で障壁となる。
本研究は、注意重みを超える注意機構のこれまで無視されていた要因について、いくつかの光を当てることを目的としている。
論文 参考訳(メタデータ) (2023-11-22T16:34:12Z) - MENTOR: Human Perception-Guided Pretraining for Increased Generalization [5.596752018167751]
MENTOR (huMan pErceptioN-guided preTraining fOr increased geneRalization) を紹介する。
我々は、クラスラベルを使わずに、入力された画像からヒトの唾液マップを学習するためにオートエンコーダを訓練する。
我々は、デコーダ部分を取り除き、エンコーダの上に分類層を追加し、従来の新しいモデルを微調整する。
論文 参考訳(メタデータ) (2023-10-30T13:50:44Z) - Towards Modeling Human Attention from Eye Movements for Neural Source
Code Summarization [6.435578628605734]
視線追跡データを用いて、人間の注意のモデルを作成します。
このモデルは、ソースコードのどの単語がコードの要約において最も重要なのかを予測する。
我々は、他のバイオインスパイアされたニューラルモデルに則って、拡張アプローチの予測性能の改善を観察する。
論文 参考訳(メタデータ) (2023-05-16T19:56:45Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳(メタデータ) (2023-01-30T12:38:31Z) - Discrete Key-Value Bottleneck [95.61236311369821]
ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。
この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。
しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。
この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
論文 参考訳(メタデータ) (2022-07-22T17:52:30Z) - Entity-Conditioned Question Generation for Robust Attention Distribution
in Neural Information Retrieval [51.53892300802014]
教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。
目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
論文 参考訳(メタデータ) (2022-04-24T22:36:48Z) - What Makes Good Contrastive Learning on Small-Scale Wearable-based
Tasks? [59.51457877578138]
本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。
本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
論文 参考訳(メタデータ) (2022-02-12T06:10:15Z) - Data-Driven and SE-assisted AI Model Signal-Awareness Enhancement and
Introspection [61.571331422347875]
モデルの信号認識性を高めるためのデータ駆動型手法を提案する。
コード複雑性のSE概念とカリキュラム学習のAIテクニックを組み合わせる。
モデル信号認識における最大4.8倍の改善を実現している。
論文 参考訳(メタデータ) (2021-11-10T17:58:18Z) - Demystifying Code Summarization Models [5.608277537412537]
我々は、極端要約、code2vec、code2seq、Sequence GNNの4つの顕著なコード要約モデルを評価する。
結果は、すべてのモデルが意味的な意味をほとんど含まない構文的および語彙的特性に基づいて予測することを示している。
本稿では,トレーニングデータのレンズを用いて,コード要約モデルの予測を説明する新しい手法を提案する。
論文 参考訳(メタデータ) (2021-02-09T03:17:46Z) - Data-Informed Global Sparseness in Attention Mechanisms for Deep Neural
Networks [24.02184854949444]
本研究では,アテンション・プルーニング(Attention Pruning,AP)を提案する。これは,固定されたデータセットにおける注意パターンの観測を収集し,そのモデルに対するグローバルなスパースネスマスクを誘導するフレームワークである。
APは、言語モデリングの注意計算の90%を節約し、機械翻訳やGLUEタスクの約50%を処理し、結果の品質を維持している。
我々のフレームワークは原則として、アテンションメカニズムを使用するモデルなら何でもスピードアップできるので、既存のNLPアプリケーションや新しいNLPアプリケーションのためにより良いモデルを開発するのに役立ちます。
論文 参考訳(メタデータ) (2020-11-20T13:58:21Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳(メタデータ) (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。