論文の概要: Towards Understanding What Code Language Models Learned

• arxiv url: http://arxiv.org/abs/2306.11943v1
• Date: Tue, 20 Jun 2023 23:42:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 15:26:20.172156
• Title: Towards Understanding What Code Language Models Learned
• Title（参考訳）: コード言語モデルが学んだことを理解する
• Authors: Toufique Ahmed, Dian Yu, Chengxuan Huang, Cathy Wang, Prem Devanbu, Kenji Sagae
• Abstract要約: 事前訓練された言語モデルは、様々な自然言語処理に有効である。 彼らの能力は、完全に学習する意味や言語を理解する能力に欠けている、と論じられている。 本研究は,表面周波数と共起を超越した,コードのセマンティクスをキャプチャする能力について考察する。
• 参考スコア（独自算出の注目度）: 6.9610359685651995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models are effective in a variety of natural language tasks, but it has been argued their capabilities fall short of fully learning meaning or understanding language. To understand the extent to which language models can learn some form of meaning, we investigate their ability to capture semantics of code beyond superficial frequency and co-occurrence. In contrast to previous research on probing models for linguistic features, we study pre-trained models in a setting that allows for objective and straightforward evaluation of a model's ability to learn semantics. In this paper, we examine whether such models capture the semantics of code, which is precisely and formally defined. Through experiments involving the manipulation of code fragments, we show that code pre-trained models of code learn a robust representation of the computational semantics of code that goes beyond superficial features of form alone
• Abstract（参考訳）: 事前学習された言語モデルは、様々な自然言語タスクにおいて有効であるが、その能力は、言語の意味や理解を完全に学習するものではないと論じられている。 言語モデルがどのような意味を学べるかを理解するために、表面周波数や共起を超越したコードの意味を捉える能力について検討する。 言語的特徴の探索モデルに関するこれまでの研究とは対照的に,事前学習されたモデルについて,モデルの意味論を学習する能力の客観的かつ分かりやすい評価を可能にする設定で検討する。 本稿では,そのようなモデルがコードの意味を正確に定式化しているかどうかを検討する。 コードフラグメントの操作に関する実験を通じて、事前学習されたコードのモデルが、フォームの表層的特徴を超えた、コードの計算的意味論の堅牢な表現を学ぶことを示す。

関連論文リスト

• Do Machines and Humans Focus on Similar Code? Exploring Explainability of Large Language Models in Code Summarization [10.201463330812167]
  人間の理解のレンズによるコード要約における言語モデルの説明可能性に関する調査の結果を報告する。 我々は、現在最先端のモデル非依存、ブラックボックス、摂動に基づくアプローチであるSHAPを用いて、どのコードトークンが要約の生成に影響を与えるかを特定する。 本研究は、SHAPに基づくモデル焦点測定と人間の焦点を合わせることができないことを明らかにする。
  論文  参考訳（メタデータ） (2024-02-22T00:01:02Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex [48.588772371355816]
  本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。 この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
  論文  参考訳（メタデータ） (2023-01-30T13:21:00Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
  事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。 本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。 この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
  論文  参考訳（メタデータ） (2022-10-26T04:47:18Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Language Models are not Models of Language [0.0]
  トランスファーラーニングにより、言語モデリングタスクでトレーニングされた大規模なディープラーニングニューラルネットワークにより、パフォーマンスが大幅に向上した。 深層学習モデルは言語の理論的モデルではないので、言語モデルという用語は誤解を招く。
  論文  参考訳（メタデータ） (2021-12-13T22:39:46Z)
• Probing Linguistic Information For Logical Inference In Pre-trained Language Models [2.4366811507669124]
  本稿では,事前学習した言語モデル表現における論理推論のための言語情報探索手法を提案する。 i)事前学習された言語モデルは、推論のためにいくつかの種類の言語情報を符号化するが、弱符号化された情報もいくつか存在する。 シンボリック推論支援のためのセマンティックおよび背景知識基盤としての言語モデルの可能性を実証した。
  論文  参考訳（メタデータ） (2021-12-03T07:19:42Z)
• A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
  知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。 これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
  論文  参考訳（メタデータ） (2021-10-01T08:51:58Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。