Fugu-MT 論文翻訳(概要): Probing Semantic Grounding in Language Models of Code with Representational Similarity Analysis

論文の概要: Probing Semantic Grounding in Language Models of Code with Representational Similarity Analysis

arxiv url: http://arxiv.org/abs/2207.07706v1
Date: Fri, 15 Jul 2022 19:04:43 GMT
ステータス: 処理完了
システム内更新日: 2022-07-20 07:37:59.580642
Title: Probing Semantic Grounding in Language Models of Code with Representational Similarity Analysis
Title（参考訳）: 表現的類似性解析を用いたコード言語モデルにおける意味的接地の検出
Authors: Shounak Naik, Rajaswa Patil, Swati Agarwal, Veeky Baths
Abstract要約: 本稿では,コード言語モデルにおける意味的グラウンドリングの探索にRepresentational similarity Analysisを用いることを提案する。我々は,IBM CodeNetデータセットのデータを用いて,意味的接地のためのCodeBERTモデルから表現を探索する。コード中の意味的摂動による実験により、CodeBERTは意味論的に正しいコードと正しくないコードとをしっかりと区別できることがわかった。
参考スコア（独自算出の注目度）: 0.11470070927586018
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Representational Similarity Analysis is a method from cognitive neuroscience, which helps in comparing representations from two different sources of data. In this paper, we propose using Representational Similarity Analysis to probe the semantic grounding in language models of code. We probe representations from the CodeBERT model for semantic grounding by using the data from the IBM CodeNet dataset. Through our experiments, we show that current pre-training methods do not induce semantic grounding in language models of code, and instead focus on optimizing form-based patterns. We also show that even a little amount of fine-tuning on semantically relevant tasks increases the semantic grounding in CodeBERT significantly. Our ablations with the input modality to the CodeBERT model show that using bimodal inputs (code and natural language) over unimodal inputs (only code) gives better semantic grounding and sample efficiency during semantic fine-tuning. Finally, our experiments with semantic perturbations in code reveal that CodeBERT is able to robustly distinguish between semantically correct and incorrect code.
Abstract（参考訳）: 表現的類似性分析(representational similarity analysis)は認知神経科学の手法であり、2つの異なるデータソースからの表現を比較するのに役立つ。本稿では,Representational similarity Analysisを用いて,コードの言語モデルにおけるセマンティックグラウンドディングを探索する。我々は,IBM CodeNetデータセットのデータを用いて,意味的接地のためのCodeBERTモデルから表現を探索する。実験により,既存の事前学習手法は,コード言語モデルのセマンティックグラウンドを誘導せず,形式に基づくパターンの最適化に重点を置いていることがわかった。また,意味的関連タスクの微調整でも,CodeBERTのセマンティックグラウンド化が著しく増加することを示す。 CodeBERTモデルへの入力モダリティによる改善は、二モーダル入力(コードと自然言語)を単モーダル入力(コードのみ)に使用することで、セマンティック微調整時のセマンティックグラウンドディングとサンプル効率が向上することを示している。最後に、コード中のセマンティックな摂動による実験により、CodeBERTはセマンティックな正しいコードと間違ったコードとをしっかりと区別できることがわかった。

関連論文リスト

A test-free semantic mistakes localization framework in Neural Code Translation [32.5036379897325]
本稿では,Large Language Model(LLM)に基づく静的解析フレームワークであるEISPを紹介する。このフレームワークはソースコードと翻訳されたコード間の意味マッピングを生成する。 EISPは、AIチェーンを通じて、各サブコードのフラグメントをきめ細かい知識ヒントで接続する。
論文参考訳（メタデータ） (2024-10-30T08:53:33Z)
Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
論文参考訳（メタデータ） (2023-10-23T04:35:58Z)
Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
論文参考訳（メタデータ） (2023-07-06T10:52:22Z)
Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
論文参考訳（メタデータ） (2023-05-29T16:24:01Z)
Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling [0.0]
事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
論文参考訳（メタデータ） (2023-05-19T09:26:02Z)
Towards Computationally Verifiable Semantic Grounding for Language Models [18.887697890538455]
本論文は、エンティティ関係三重項の集合として形式化された所望のセマンティックメッセージが与えられた条件モデル生成テキストとしてLMを概念化する。 LMを自動エンコーダに埋め込むと、出力が入力メッセージと同じ表現領域にあるセマンティック・フラエンシに出力を送り込む。提案手法は,グリーディ検索のベースラインを大幅に改善することを示す。
論文参考訳（メタデータ） (2022-11-16T17:35:52Z)
Few-Shot Semantic Parsing with Language Models Trained On Code [52.23355024995237]
Codexは同等のGPT-3モデルよりもセマンティックパーシングが優れていることがわかった。 GPT-3とは異なり、Codexは意味表現を直接ターゲットとする場合、おそらく意味解析で使われる意味表現がコードと似た構造になっているように、同じように機能する。
論文参考訳（メタデータ） (2021-12-16T08:34:06Z)
Multimodal Representation for Neural Code Search [18.371048875103497]
本稿では,AST の簡易な形式でツリーシリアライズ手法を導入し,コードデータのマルチモーダル表現を構築する。この結果から,木をシリアライズした表現とマルチモーダル学習モデルの両方がニューラルコード検索の性能を向上させることがわかった。
論文参考訳（メタデータ） (2021-07-02T12:08:19Z)
A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文参考訳（メタデータ） (2021-05-20T15:18:06Z)
SChME at SemEval-2020 Task 1: A Model Ensemble for Detecting Lexical Semantic Change [58.87961226278285]
本稿では,SemEval-2020 Task 1における語彙意味変化の教師なし検出法であるSChMEについて述べる。 SChMEは、分布モデル(単語埋め込み)とワード周波数モデルの信号を組み合わせたモデルアンサンブルを使用し、各モデルは、その特徴に応じて単語が苦しむ確率を示す投票を行う。
論文参考訳（メタデータ） (2020-12-02T23:56:34Z)
Logic Constrained Pointer Networks for Interpretable Textual Similarity [11.142649867439406]
本稿では, セシネルゲーティング機能を備えた新しいポインターネットワークモデルを導入し, 構成チャンクを整列させる。両文の相違を等しく補償し、アライメントが双方向であることを保証するために、損失関数によるこのベースモデルを改善する。このモデルは、チャンクアライメントタスクのためのベンチマークSemEvalデータセットにおいて、97.73と96.32のF1スコアを達成する。
論文参考訳（メタデータ） (2020-07-15T13:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。