論文の概要: Stochastic Code Generation

• arxiv url: http://arxiv.org/abs/2304.08243v1
• Date: Fri, 14 Apr 2023 00:01:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 15:18:00.279680
• Title: Stochastic Code Generation
• Title（参考訳）: 確率的コード生成
• Authors: Swapnil Sharma, Nikita Anand, Kranthi Kiran G. V
• Abstract要約: コード生成のために事前訓練された大きな言語モデルは、高品質のショートコードを生成するが、コヒーレントな長いコードを生成するのにしばしば苦労する。 この問題は、長文生成のための言語モデリングにも見られる。 本研究では,この手法をコード生成に適用してコヒーレンスを向上できるかを検討する。
• 参考スコア（独自算出の注目度）: 1.7205106391379026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models pre-trained for code generation can generate high-quality short code but often struggle with generating coherent long code and understanding higher-level or system-level specifications. This issue is also observed in language modeling for long text generation, and one proposed solution is the use of a latent stochastic process. This approach involves generating a document plan and then producing text that is consistent with it. In this study, we investigate whether this technique can be applied to code generation to improve coherence. We base our proposed encoder and decoder on the pre-trained GPT-2 based CodeParrot model and utilize the APPS dataset for training. We evaluate our results using the HumanEval benchmark and observe that the modified Time Control model performs similarly to CodeParrot on this evaluation.
• Abstract（参考訳）: コード生成のために事前学習された大規模言語モデルは高品質なショートコードを生成するが、一貫性のある長いコードを生成し、高レベルまたはシステムレベルの仕様を理解するのに苦労することが多い。 この問題はまた、長いテキスト生成のための言語モデリングでも観察され、提案されている解決策の一つは潜在確率過程の使用である。 このアプローチでは、ドキュメントプランを生成し、それと一貫性のあるテキストを生成する。 本研究では,この手法をコード生成に適用してコヒーレンスを向上できるかを検討する。 提案するエンコーダとデコーダを,事前学習した GPT-2 ベースの CodeParrot モデルに基づいて,トレーニングにAPPS データセットを利用する。 この結果についてhumanevalベンチマークを用いて評価し,改良した時間制御モデルがcodeparrotと同様に動作することを確認した。

関連論文リスト

• CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
  大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。 CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。 5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-24T04:25:04Z)
• SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code Summarization [51.67317895094664]
  本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。 長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
  論文  参考訳（メタデータ） (2024-01-26T09:23:27Z)
• Exploring Automatic Evaluation Methods based on a Decoder-based LLM for Text Generation [16.78350863261211]
  本稿では,エンコーダモデルを用いたチューニングや,同じ条件下での大規模言語モデルなど,様々な手法を比較する。 実験結果から, 調律エンコーダモデルと比較すると, 調律デコーダモデルの性能は低かった。 また、ChatGPTのような非常に大きなデコーダベースのモデルのコンテキスト内学習は、きめ細かいセマンティックな違いを識別することが困難であることも明らかにした。
  論文  参考訳（メタデータ） (2023-10-17T06:53:00Z)
• PanGu-Coder2: Boosting Large Language Models for Code with Ranking Feedback [5.459517921633247]
  本稿では,コード生成のための事前学習された大規模言語モデルを効果的かつ効率的に向上するRRTF(Rank Responses toaligned Test&Teacher Feedback)フレームワークを提案する。 このフレームワークでは、OpenAI HumanEvalベンチマークで62.20%パス@1を達成したPanGu-Coder2を紹介します。
  論文  参考訳（メタデータ） (2023-07-27T15:28:29Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Better Language Models of Code through Self-Improvement [18.75015225501755]
  コードのための事前学習言語モデル(PLMC)のための単純なデータ拡張フレームワークを提案する。 本フレームワークは,事前学習と微調整の段階で得られた知識を利用して擬似データを生成し,次のステップのトレーニングデータとして利用する。 その結果,コード関連シーケンス生成タスクにおいて,PLMCの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2023-04-02T10:59:19Z)
• Knowledge Transfer for Pseudo-code Generation from Low Resource Programming Language [13.716669765394293]
  我々は、並列コード-擬似コードデータを用いて、高リソースPL(C++)で訓練されたコード-擬似コードニューラルモデルによって得られた知識の伝達に焦点をあてる。 後方翻訳により生成されたC符号の成功率を23.27%向上させる。
  論文  参考訳（メタデータ） (2023-03-16T03:38:08Z)
• ReCode: Robustness Evaluation of Code Generation Models [90.10436771217243]
  コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。 ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。 ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
  論文  参考訳（メタデータ） (2022-12-20T14:11:31Z)
• CodeExp: Explanatory Code Document Generation [94.43677536210465]
  既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。 我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。 タスクのための多段階微調整戦略とベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-25T18:05:44Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。