論文の概要: EyeTrans: Merging Human and Machine Attention for Neural Code
Summarization
- arxiv url: http://arxiv.org/abs/2402.14096v3
- Date: Thu, 29 Feb 2024 13:33:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 17:32:08.960874
- Title: EyeTrans: Merging Human and Machine Attention for Neural Code
Summarization
- Title（参考訳）: eyetrans: ニューラルコード要約のための人間と機械の注意の融合
- Authors: Yifan Zhang, Jiliang Li, Zachary Karas, Aakash Bansal, Toby Jia-Jun
Li, Collin McMillan, Kevin Leach, Yu Huang
- Abstract要約: 我々は,人間の注意を機械の注意に取り入れて,ニューラルネットワークの要約を強化する手法を開発した。
人間の注意をトランスフォーマーに組み込むことの有効性を実証するため、2つのコード要約タスクに関する包括的な実験を行った。
- 参考スコア（独自算出の注目度）: 16.694601606682046
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural code summarization leverages deep learning models to automatically
generate brief natural language summaries of code snippets. The development of
Transformer models has led to extensive use of attention during model design.
While existing work has primarily and almost exclusively focused on static
properties of source code and related structural representations like the
Abstract Syntax Tree (AST), few studies have considered human attention, that
is, where programmers focus while examining and comprehending code. In this
paper, we develop a method for incorporating human attention into machine
attention to enhance neural code summarization. To facilitate this
incorporation and vindicate this hypothesis, we introduce EyeTrans, which
consists of three steps: (1) we conduct an extensive eye-tracking human study
to collect and pre-analyze data for model training, (2) we devise a
data-centric approach to integrate human attention with machine attention in
the Transformer architecture, and (3) we conduct comprehensive experiments on
two code summarization tasks to demonstrate the effectiveness of incorporating
human attention into Transformers. Integrating human attention leads to an
improvement of up to 29.91% in Functional Summarization and up to 6.39% in
General Code Summarization performance, demonstrating the substantial benefits
of this combination. We further explore performance in terms of robustness and
efficiency by creating challenging summarization scenarios in which EyeTrans
exhibits interesting properties. We also visualize the attention map to depict
the simplifying effect of machine attention in the Transformer by incorporating
human attention. This work has the potential to propel AI research in software
engineering by introducing more human-centered approaches and data.
- Abstract（参考訳）: ニューラルネットワークの要約はディープラーニングモデルを利用して、コードスニペットの簡単な自然言語要約を自動的に生成する。
トランスフォーマーモデルの開発は、モデル設計中に広範囲に注意を向ける結果となった。
既存の作業は主にソースコードの静的な特性とAST(Abstract Syntax Tree)のような関連する構造表現に重点を置いているが、プログラマがコードを調べて理解しながら注目する研究はほとんどない。
本稿では,人間の注意を機械の注意に取り入れ,ニューラルネットワークの要約を強化する手法を開発する。
To facilitate this incorporation and vindicate this hypothesis, we introduce EyeTrans, which consists of three steps: (1) we conduct an extensive eye-tracking human study to collect and pre-analyze data for model training, (2) we devise a data-centric approach to integrate human attention with machine attention in the Transformer architecture, and (3) we conduct comprehensive experiments on two code summarization tasks to demonstrate the effectiveness of incorporating human attention into Transformers.
人間の注意を組み込むことで、関数的要約の最大29.91%、一般コード要約のパフォーマンスの最大6.39%が改善され、この組み合わせの実質的な利点が示される。
我々はさらに,eyetransが興味深い特性を示すような難解な要約シナリオを作成することにより,ロバスト性と効率性の観点からパフォーマンスを探求する。
また、人間の注意を取り入れることで、トランスフォーマーにおける機械的注意の簡易化効果を可視化する。
この研究は、より人間中心のアプローチとデータを導入することで、ソフトウェアエンジニアリングにおけるAI研究を促進する可能性がある。
関連論文リスト
- DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。
様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
論文 参考訳（メタデータ） (2024-10-07T07:21:49Z) - Neural-Logic Human-Object Interaction Detection [67.4993347702353]
本稿では,ニューラルロジック推論を利用した新しいHOI検出器であるL OGIC HOIと,実体間の相互作用を推測するTransformerを提案する。
具体的には,バニラトランスフォーマーの自己保持機構を改変し,人間,行動,対象>三重項を推論し,新たな相互作用を構成する。
我々はこれらの2つの特性を一階述語論理で定式化し、それらを連続空間に基底にして、我々のアプローチの学習過程を制約し、性能とゼロショットの一般化能力を向上させる。
論文 参考訳（メタデータ） (2023-11-16T11:47:53Z) - Enhancing Robot Learning through Learned Human-Attention Feature Maps [6.724036710994883]
ロボット学習にフォーカスポイントに関する補助情報を埋め込むことで、学習プロセスの効率性と堅牢性が向上すると考えられる。
本稿では,人間の注意を近似予測モデルでモデル化し,エミュレートするための新しいアプローチを提案する。
我々は,物体検出と模倣学習という2つの学習課題にアプローチを試行する。
論文 参考訳（メタデータ） (2023-08-29T14:23:44Z) - FLatten Transformer: Vision Transformer using Focused Linear Attention [80.61335173752146]
線形注意(linear attention)は、その線形複雑性に対して、はるかに効率的な代替手段を提供する。
現在の線形アテンションアプローチは、大きなパフォーマンス劣化に悩まされるか、追加の計算オーバーヘッドを導入するかのいずれかである。
本研究では,高効率と表現性の両方を実現するために,新しいFocused Linear Attentionモジュールを提案する。
論文 参考訳（メタデータ） (2023-08-01T10:37:12Z) - AttentionViz: A Global View of Transformer Attention [60.82904477362676]
本研究では,変圧器の自己保持機構を研究者が理解するための新しい可視化手法を提案する。
提案手法の背景にある主な考え方は,問合せとキーベクトルの結合埋め込みを可視化し,注意力を計算することである。
このような共同クエリキーの埋め込みに基づいて,インタラクティブな可視化ツールであるAttentionVizを開発した。
論文 参考訳（メタデータ） (2023-05-04T23:46:49Z) - Gaze-based Attention Recognition for Human-Robot Collaboration [0.0]
本稿では,人間オペレータとコボットが等しく協力してギアボックスを組み立てる組立シナリオを提案する。
最初のステップとして、人間のオペレータが注意を払っているワークスペース内の領域を認識します。
本稿では,注目度認識モデルを開発するための新しいディープラーニング手法を提案する。
論文 参考訳（メタデータ） (2023-03-30T11:55:38Z) - Multimodal Vision Transformers with Forced Attention for Behavior
Analysis [0.0]
本稿では,強制注意(FAt)変換を導入し,入力エンコーディングや追加入力の利用に改良されたバックボーンを付加した。
FAt変換器は、パーソナリティ認識とボディランゲージ認識の2つの下流タスクに適用される。
Udiva v0.5, First Impressions v2, MPII Group Interaction データセットの最先端結果を得た。
論文 参考訳（メタデータ） (2022-12-07T21:56:50Z) - Focused Decoding Enables 3D Anatomical Detection by Transformers [64.36530874341666]
集束デコーダと呼ばれる3次元解剖学的構造検出のための新しい検出変換器を提案する。
Focused Decoderは、解剖学的領域のアトラスからの情報を活用して、クエリアンカーを同時にデプロイし、クロスアテンションの視野を制限する。
提案手法を利用可能な2つのCTデータセットに対して評価し、フォーカスドデコーダが強力な検出結果を提供するだけでなく、大量の注釈付きデータの必要性を軽減し、注意重みによる結果の例外的で直感的な説明性を示すことを示した。
論文 参考訳（メタデータ） (2022-07-21T22:17:21Z) - Multi-View Fusion Transformer for Sensor-Based Human Activity
Recognition [15.845205542668472]
センサに基づく人間活動認識(HAR)は、加速度計やジャイロスコープなどのマルチモーダルセンサから収集されたリッチな時系列データに基づいて、人間の活動を認識することを目的としている。
近年の深層学習手法は、時間的視点などのデータの一視点に焦点を合わせており、浅層学習法は、例えば統計的視点のような手工芸的特徴を利用する傾向にある。
本稿では,新しいアテンション機構とともに,MVFT(Multi-view fusion transformer)という新しい手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T07:15:22Z) - Cost-effective Interactive Attention Learning with Neural Attention
Processes [79.8115563067513]
対話型注意学習(Interactive Attention Learning, IAL)と呼ばれる対話型学習フレームワークを提案する。
IALは、人間のアノテーションが不足しているため、過度に適合する傾向がある。
我々は,サンプル効率のよい注意機構と,コスト効率のよいインスタンスと機能の再ランクアルゴリズムを提案することで,これらの課題に対処する。
論文 参考訳（メタデータ） (2020-06-09T17:36:41Z) - Human brain activity for machine attention [8.673635963837532]
我々は脳波(EEG)という神経科学データを初めて活用し、人間の脳の言語処理について神経の注意モデルに知らせる。
我々は、理論上動機付けられた収穫と無作為な森林分枝を組み合わせることで、機械の注意を監督する脳波の特徴を見つける手法を考案した。
これらの特徴を関係分類の注意を規則化するために応用し、脳波が強い基準線よりも情報的であることを示す。
論文 参考訳（メタデータ） (2020-06-09T08:39:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。