論文の概要: Emergent Representations of Program Semantics in Language Models Trained on Programs

• arxiv url: http://arxiv.org/abs/2305.11169v3
• Date: Fri, 2 Aug 2024 23:09:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 00:45:00.836703
• Title: Emergent Representations of Program Semantics in Language Models Trained on Programs
• Title（参考訳）: プログラムで訓練された言語モデルにおけるプログラム意味論の創発的表現
• Authors: Charles Jin, Martin Rinard,
• Abstract要約: プログラムの形式的意味論を表現するために,コードの言語モデル(LM)が学習できることを示す。 本研究では,2次元グリッド環境をナビゲートするドメイン固有言語で記述されたプログラムの合成コーパス上でトランスフォーマーモデルを訓練する。
• 参考スコア（独自算出の注目度）: 3.376269351435396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present evidence that language models (LMs) of code can learn to represent the formal semantics of programs, despite being trained only to perform next-token prediction. Specifically, we train a Transformer model on a synthetic corpus of programs written in a domain-specific language for navigating 2D grid world environments. Each program in the corpus is preceded by a (partial) specification in the form of several input-output grid world states. Despite providing no further inductive biases, we find that a probing classifier is able to extract increasingly accurate representations of the unobserved, intermediate grid world states from the LM hidden states over the course of training, suggesting the LM acquires an emergent ability to interpret programs in the formal sense. We also develop a novel interventional baseline that enables us to disambiguate what is represented by the LM as opposed to learned by the probe. We anticipate that this technique may be generally applicable to a broad range of semantic probing experiments. In summary, this paper does not propose any new techniques for training LMs of code, but develops an experimental framework for and provides insights into the acquisition and representation of formal semantics in statistical models of code. Our code is available at https://github.com/charlesjin/emergent-semantics.
• Abstract（参考訳）: プログラムの形式的意味論を表現するために,プログラムの言語モデル(LM)が学習できることを実証する。 具体的には、2Dグリッド環境をナビゲートするためのドメイン固有言語で記述されたプログラムの合成コーパス上でトランスフォーマーモデルを訓練する。 コーパス内の各プログラムは、いくつかの入力出力グリッドの世界状態の形で(部分的な)仕様によって先行される。 さらなる帰納バイアスは与えないが、学習中に未観測の中間格子状態のより正確な表現をLM隠蔽状態から抽出できることが判明し、LMがプログラムを形式的に解釈する創発的な能力を得る可能性が示唆された。 また,新たな介入ベースラインを開発し,LMで表現されるものを,プローブが学習するのとは対照的に曖昧にすることができるようにした。 我々は,この手法が多種多様な意味探索実験に適用可能であることを予測している。 要約すると、コードのLMをトレーニングするための新しいテクニックは提案されていないが、コードの統計モデルにおける形式的意味論の獲得と表現に関する知見を提供するための実験的なフレームワークを開発した。 私たちのコードはhttps://github.com/charlesjin/emergent-semantics.comで利用可能です。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Code Representation Pre-training with Complements from Program Executions [29.148208436656216]
  テストケースで明らかになったプログラムの動的情報を調べ,それを補体としてコードの特徴表現に埋め込むために,FuzzPretrainを提案する。 FuzzyPretrainは、ソースコードやASTのみをトレーニングしたコード検索に対して、6%/9%のmAP改善を実現した。
  論文  参考訳（メタデータ） (2023-09-04T01:57:22Z)
• An Overview on Language Models: Recent Developments and Outlook [32.528770408502396]
  従来の言語モデル(CLM)は、因果的に言語シーケンスの確率を予測することを目的としている。 事前学習言語モデル(PLM)はより広範な概念をカバーし、因果逐次モデリングと下流アプリケーションのための微調整の両方に使用することができる。
  論文  参考訳（メタデータ） (2023-03-10T07:55:00Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages [86.08359401867577]
  バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。 コード要約と生成による逆翻訳を提案する。 提案手法は最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-05-23T08:20:41Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• How could Neural Networks understand Programs? [67.4217527949013]
  ソースコードにnlpプリトレーニング技術を直接適用するか、あるいはtheshelfによってモデルに機能を追加するかで、プログラムをより理解するためのモデルを構築するのは難しい。 本研究では,(1)操作セマンティクスの基本操作とよく一致する表現と(2)環境遷移の情報からなる情報から,モデルが学ぶべき新しいプログラムセマンティクス学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T12:21:42Z)
• Sequence Model Design for Code Completion in the Modern IDE [3.4824234779710452]
  本稿では,すべての有効なキーワードとスコープ内識別子を列挙する静的解析能力と,それらの上に確率分布を配置する言語モデルの能力を組み合わせた,トップk次トークンの予測手法を提案する。 我々のモデルは,文字レベルの入力表現とトークン出力を混合し,語彙外トークン(OOV)を有意に表現し,予測遅延を最小化する。
  論文  参考訳（メタデータ） (2020-04-10T22:40:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。