論文の概要: What does Transformer learn about source code?
- arxiv url: http://arxiv.org/abs/2207.08466v1
- Date: Mon, 18 Jul 2022 09:33:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-19 18:19:51.888109
- Title: What does Transformer learn about source code?
- Title(参考訳): Transformerはソースコードについて何を学ぶのか?
- Authors: Kechi Zhang, Ge Li, Zhi Jin
- Abstract要約: トランスをベースとした表現モデルは、多くのタスクで最先端(SOTA)のパフォーマンスを達成した。
本稿では,変換器が学習した構造情報を調べる手法であるアグリゲートアテンションスコアを提案する。
また、事前学習したモデルからプログラムグラフを自動的に抽出する新しい方法である、集約されたアテンショングラフも提案した。
- 参考スコア(独自算出の注目度): 26.674180481543264
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the field of source code processing, the transformer-based representation
models have shown great powerfulness and have achieved state-of-the-art (SOTA)
performance in many tasks. Although the transformer models process the
sequential source code, pieces of evidence show that they may capture the
structural information (\eg, in the syntax tree, data flow, control flow, \etc)
as well. We propose the aggregated attention score, a method to investigate the
structural information learned by the transformer. We also put forward the
aggregated attention graph, a new way to extract program graphs from the
pre-trained models automatically. We measure our methods from multiple
perspectives. Furthermore, based on our empirical findings, we use the
automatically extracted graphs to replace those ingenious manual designed
graphs in the Variable Misuse task. Experimental results show that the semantic
graphs we extracted automatically are greatly meaningful and effective, which
provide a new perspective for us to understand and use the information
contained in the model.
- Abstract(参考訳): ソースコード処理の分野では、トランスフォーマーベースの表現モデルは非常に強力であり、多くのタスクにおいて最先端(SOTA)のパフォーマンスを実現している。
トランスフォーマーモデルはシーケンシャルなソースコードを処理するが、いくつかの証拠は構造情報(構文木、データフロー、制御フロー、\etc)もキャプチャできることを示している。
本研究では,変圧器が学習する構造情報を調べる手法であるアテンションスコアを提案する。
また,事前学習したモデルからプログラムグラフを自動的に抽出する新しい手法である,アテンショングラフの集計も実施した。
複数の観点からメソッドを測定します。
さらに, 実験結果に基づき, 自動抽出したグラフを用いて, それらの巧妙な手動設計グラフを, 変数誤用タスクで置き換える。
実験の結果, 自動抽出した意味グラフは有意義かつ効果的であり, モデルに含まれる情報を理解し, 利用するための新たな視点が得られた。
関連論文リスト
- Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳(メタデータ) (2023-09-18T20:12:17Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Relphormer: Relational Graph Transformer for Knowledge Graph
Representations [25.40961076988176]
本稿ではRelphormerと呼ばれる知識グラフ表現のためのTransformerの新しい変種を提案する。
本稿では,関係情報をエンコードし,意味情報を実体や関係内に保持する構造強化型自己認識機構を提案する。
6つのデータセットの実験結果から、Relphormerはベースラインよりも優れたパフォーマンスが得られることが示された。
論文 参考訳(メタデータ) (2022-05-22T15:30:18Z) - Gransformer: Transformer-based Graph Generation [7.799648230758492]
Gransformer は変換器を利用するグラフを生成するアルゴリズムである。
グラフの構造情報を活用するために,単純な自己回帰変換器エンコーダを拡張した。
本研究では,この手法を実世界の2つのデータセット上で評価し,最先端の自己回帰グラフ生成手法と比較する。
論文 参考訳(メタデータ) (2022-03-25T14:05:12Z) - Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。
まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。
本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
論文 参考訳(メタデータ) (2022-02-17T06:02:06Z) - Graph Self-Attention for learning graph representation with Transformer [13.49645012479288]
本稿では,トランスフォーマーモデルでグラフ表現を学習するための新しいグラフ自己認識モジュールを提案する。
本稿では,クエリ,キー,グラフ情報の相互作用を考慮したコンテキスト認識型アテンションを提案する。
本手法は,グラフ表現学習の複数のベンチマークにおいて,最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-01-30T11:10:06Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳(メタデータ) (2021-06-09T17:18:52Z) - Structural Information Preserving for Graph-to-Text Generation [59.00642847499138]
グラフ・トゥ・テキスト生成の課題は、入力グラフの意味を保存した文を生成することである。
入力情報を保存するためのモデルとして,より豊かなトレーニング信号を活用することで,この問題に取り組むことを提案する。
グラフからテキストへの生成のための2つのベンチマークに関する実験は、最先端のベースラインに対するアプローチの有効性を示しています。
論文 参考訳(メタデータ) (2021-02-12T20:09:01Z) - Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
局所グラフ構造を符号化する線形化モデルの能力を検討する。
本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。
これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
論文 参考訳(メタデータ) (2020-12-31T18:17:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。