論文の概要: Naturalness of Attention: Revisiting Attention in Code Language Models

• arxiv url: http://arxiv.org/abs/2311.13508v1
• Date: Wed, 22 Nov 2023 16:34:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 14:26:33.595484
• Title: Naturalness of Attention: Revisiting Attention in Code Language Models
• Title（参考訳）: 注意の自然性:コード言語モデルにおける注意の再考
• Authors: Mootez Saad and Tushar Sharma
• Abstract要約: CodeBERTのようなコードの言語モデルは、高度なソースコード表現を学習する機能を提供するが、その不透明さは、取得したプロパティを理解する上で障壁となる。 本研究は、注意重みを超える注意機構のこれまで無視されていた要因について、いくつかの光を当てることを目的としている。
• 参考スコア（独自算出の注目度）: 3.756550107432323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models for code such as CodeBERT offer the capability to learn advanced source code representation, but their opacity poses barriers to understanding of captured properties. Recent attention analysis studies provide initial interpretability insights by focusing solely on attention weights rather than considering the wider context modeling of Transformers. This study aims to shed some light on the previously ignored factors of the attention mechanism beyond the attention weights. We conduct an initial empirical study analyzing both attention distributions and transformed representations in CodeBERT. Across two programming languages, Java and Python, we find that the scaled transformation norms of the input better capture syntactic structure compared to attention weights alone. Our analysis reveals characterization of how CodeBERT embeds syntactic code properties. The findings demonstrate the importance of incorporating factors beyond just attention weights for rigorously understanding neural code models. This lays the groundwork for developing more interpretable models and effective uses of attention mechanisms in program analysis.
• Abstract（参考訳）: CodeBERTのようなコードの言語モデルは、高度なソースコード表現を学習する機能を提供するが、その不透明さは、取得したプロパティを理解する上で障壁となる。 最近の注意分析研究は、トランスフォーマのより広い文脈モデリングを考えるのではなく、注意重みだけに焦点を当てて初期解釈可能性の洞察を提供する。 本研究の目的は,注意重み以上の注意機構のこれまで無視されていた要因について,ある程度の光を当てることである。 CodeBERTにおける注意分布と変換表現の両方を分析した最初の実証的研究を行った。 JavaとPythonの2つのプログラミング言語で、入力のスケールされた変換ノルムは、注意重みのみと比較して構文構造を捉えるのがよい。 解析により,CodeBERTが構文的コードプロパティを組み込む方法の特徴を明らかにした。 これらの結果は、神経コードモデルを正確に理解するための注意重み以上の要素を組み込むことの重要性を示している。 これは、より解釈可能なモデルを開発し、プログラム分析における注意のメカニズムを効果的に利用するための基礎となる。

関連論文リスト

• Chain-of-Thought in Large Language Models: Decoding, Projection, and Activation [8.80044898397965]
  Chain-of-Thoughtプロンプトは、大規模言語モデルの推論能力を著しく向上させた。 本研究は,Chainof-Thoughtを用いたモデル内で発生する変化の解明を目的とした,デコーディング,プロジェクション,アクティベーションの3つの重要な側面について検討する。
  論文  参考訳（メタデータ） (2024-12-05T07:47:29Z)
• Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
  自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。 特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
  論文  参考訳（メタデータ） (2024-02-20T14:43:39Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Revisiting Attention Weights as Explanations from an Information Theoretic Perspective [4.499369811647602]
  注意機構は、他のモデル要素と慎重に組み合わせた場合、説明をモデル化するためのショートカットとして機能する可能性があることを示す。 本研究により,注意機構は,他のモデル要素と慎重に組み合わせた場合,モデル説明のためのショートカットとして機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-31T12:53:20Z)
• Bayesian Attention Belief Networks [59.183311769616466]
  注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。 本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。 提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-09T17:46:22Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Attention Flows: Analyzing and Comparing Attention Mechanisms in Language Models [5.866941279460248]
  注意に基づく言語モデルにおける微調整を理解するための視覚分析手法を提案する。 私たちの視覚化であるAttention Flowsは、Transformerベースの言語モデルにおいて、レイヤ内のクエリ、トレース、関心の比較をサポートするように設計されています。
  論文  参考訳（メタデータ） (2020-09-03T19:56:30Z)
• Attention improves concentration when learning node embeddings [1.2233362977312945]
  検索クエリテキストでラベル付けされたノードを考えると、製品を共有する関連クエリへのリンクを予測したい。 様々なディープニューラルネットワークを用いた実験では、注意機構を備えた単純なフィードフォワードネットワークが埋め込み学習に最適であることが示されている。 本稿では,クエリ生成モデルであるAttESTを提案する。このモデルでは,製品とクエリテキストの両方を,潜在空間に埋め込まれたベクトルとして見ることができる。
  論文  参考訳（メタデータ） (2020-06-11T21:21:12Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)
• Explain and Improve: LRP-Inference Fine-Tuning for Image Captioning Models [82.3793660091354]
  本稿では,注意を可視化する以外に,注意機構を付加した画像キャプションモデルの予測について分析する。 我々は,注意機構を備えた画像キャプションモデルに適したレイヤワイド関連伝搬(LRP)と勾配に基づく説明法を開発した。
  論文  参考訳（メタデータ） (2020-01-04T05:15:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。