論文の概要: A new approach for encoding code and assisting code understanding

• arxiv url: http://arxiv.org/abs/2408.00521v1
• Date: Thu, 1 Aug 2024 12:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 20:36:37.953103
• Title: A new approach for encoding code and assisting code understanding
• Title（参考訳）: コードエンコーディングとコード理解支援のための新しいアプローチ
• Authors: Mengdan Fan, Wei Zhang, Haiyan Zhao, Zhi Jin,
• Abstract要約: GPTは、タスクや出力のグローバルな理解なしに、次の単語を生成する局所的で欲求的なプロセスに依存している。 我々は、次の単語予測パラダイムを超えて、コード理解のための新しいパラダイムを提案する。 我々は、そのコードを、画像とタンパク質構造の両方を模倣するグローバル情報の記憶を持つ異種画像パラダイムとしてエンコードする。
• 参考スコア（独自算出の注目度）: 21.010048634813497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Some companies(e.g., Microsoft Research and Google DeepMind) have discovered some of the limitations of GPTs autoregressive paradigm next-word prediction, manifested in the model lack of planning, working memory, backtracking, and reasoning skills. GPTs rely on a local and greedy process of generating the next word, without a global understanding of the task or the output.We have confirmed the above limitations through specialized empirical studies of code comprehension. Although GPT4 is good at producing fluent and coherent text, it cannot handle complex logic and generate new code that haven not been seen, and it relies too much on the formatting of the prompt to generate the correct code.We propose a new paradigm for code understanding that goes beyond the next-word prediction paradigm, inspired by the successful application of diffusion techniques to image generation(Dalle2, Sora) and protein structure generation(AlphaFold3), which have no autoregressive constraints.Instead of encoding the code in a form that mimics natural language, we encode the code as a heterogeneous image paradigm with a memory of global information that mimics both images and protein structures.We then refer to Sora's CLIP upstream text-to-image encoder model to design a text-to-code encoder model that can be applied to various downstream code understanding tasks.The model learns the global understanding of code under the new paradigm heterogeneous image, connects the encoding space of text and code, and encodes the input of text into the vector of code most similar to it.Using self-supervised comparative learning on 456,360 text-code pairs, the model achieved a zero-shot prediction of new data. This work is the basis for future work on code generation using diffusion techniques under a new paradigm to avoid autoregressive limitations.
• Abstract（参考訳）: 一部の企業(例えば、Microsoft ResearchやGoogle DeepMind)は、計画の欠如、ワーキングメモリ、バックトラック、推論スキルの欠如で表される、GPTの自動回帰パラダイムの次のワード予測の制限を発見した。 GPTは,タスクやアウトプットをグローバルに理解することなく,次の単語を生成する局所的かつ欲求的なプロセスに依存しており,コード理解に関する特殊な実証的研究を通じて,上記の制限を確認した。 我々は、画像生成(Dalle2, Sora)とタンパク質構造生成(AlphaFold3)への拡散技術の適用の成功にインスパイアされた、次のワード予測パラダイムを超えて、コード理解のための新しいパラダイムを提案します。これは、自己回帰的制約のない画像生成(Dalle2, Sora)とタンパク質構造生成(AlphaFold3)への拡散技術の適用に触発され、自然言語を模倣した形式でコードをエンコードする代わりに、画像とタンパク質構造の両方を模倣したグローバル情報のメモリを備えた異質な画像パラダイムとしてコードをエンコードします。そして、SoraのCLIPのテキスト-imageエンコードモデルを参照します。 この研究は、自己回帰的な制限を避けるために、新しいパラダイムの下で拡散テクニックを使用したコード生成に関する将来の研究の基盤となる。

関連論文リスト

• Building A Coding Assistant via the Retrieval-Augmented Language Model [24.654428111628242]
  本研究では,コーディング中の人間の知識探索行動を模倣してコードアシスタントを構築するための検索補助言語モデル(CONAN)を提案する。 コード構造対応検索器(CONAN-R)とデュアルビューコード表現に基づく検索拡張生成モデル(CONAN-G)で構成される。
  論文  参考訳（メタデータ） (2024-10-21T17:34:39Z)
• ESALE: Enhancing Code-Summary Alignment Learning for Source Code Summarization [21.886950861445122]
  コード要約は、与えられたコードスニペットに対して簡潔な自然言語要約を自動的に生成することを目的としている。 本稿では,要約に焦点をあてたタスクに基づいて,コード要約を改善する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T03:06:51Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
  大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。 CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。 5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-24T04:25:04Z)
• Towards Accurate Image Coding: Improved Autoregressive Image Generation with Dynamic Vector Quantization [73.52943587514386]
  既存のベクトル量子化(VQ)ベースの自己回帰モデルは、2段階生成パラダイムに従う。 画像領域を可変長符号に符号化する動的量子化VAE(DQ-VAE)を提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:05Z)
• Momentum Decoding: Open-ended Text Generation As Graph Exploration [49.812280360794894]
  自動回帰言語モデル(LM)を用いたオープンエンドテキスト生成は、自然言語処理における中核的なタスクの1つである。 我々は、新しい視点から、すなわち、有向グラフ内の探索プロセスとして、オープンエンドテキスト生成を定式化する。 本稿では,新しい復号法であるtextitmomentum decodingを提案する。
  論文  参考訳（メタデータ） (2022-12-05T11:16:47Z)
• StructCoder: Structure-Aware Transformer for Code Generation [13.797842927671846]
  本稿では、構文とデータフローの両方をモデル化し、生成されたコードの品質を向上させる構造対応トランスフォーマーデコーダを提案する。 提案したStructCoderモデルは、コード翻訳およびテキスト・トゥ・コード生成タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-06-10T17:26:31Z)
• GypSum: Learning Hybrid Representations for Code Summarization [21.701127410434914]
  GypSumは、グラフアテンションニューラルネットワークと事前学習されたプログラミングと自然言語モデルを使用してハイブリッド表現を学習する、新しいディープラーニングモデルである。 本稿では,トランスフォーマーデコーダのエンコーダ-デコーダサブレイヤを変更して表現を融合させ,要約生成を容易にするデュアルコピー機構を提案する。
  論文  参考訳（メタデータ） (2022-04-26T07:44:49Z)
• Contrastive Learning for Source Code with Structural and Functional Properties [66.10710134948478]
  本稿では,ソースコードの特徴に基づいて事前学習に焦点を当てた,新たな自己教師型モデルBOOSTを提案する。 私たちは、機能的に等価なコードを生成する自動化された構造誘導型コード変換アルゴリズムを採用しています。 私たちは、対照的な学習目標を通じて、機能的に等価なコードをより近く、異なるコードに近づける方法で、モデルをトレーニングします。
  論文  参考訳（メタデータ） (2021-10-08T02:56:43Z)
• Project-Level Encoding for Neural Source Code Summarization of Subroutines [6.939768185086755]
  コード要約のモデルを改善するプロジェクトレベルのエンコーダを提案する。 我々はこの表現を用いて、最先端のニューラルネットワーク要約技術のエンコーダを強化する。
  論文  参考訳（メタデータ） (2021-03-22T06:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。