論文の概要: Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models

• arxiv url: http://arxiv.org/abs/2403.13588v1
• Date: Wed, 20 Mar 2024 13:37:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 16:47:59.794760
• Title: Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models
• Title（参考訳）: 事前学習されたコードインテリジェンス言語モデルのための遺伝的オートプロンプト学習
• Authors: Chengzhe Feng, Yanan Sun, Ke Li, Pan Zhou, Jiancheng Lv, Aojun Lu,
• Abstract要約: コードインテリジェンスタスクにおける即時学習の有効性について検討する。 既存の自動プロンプト設計手法は、コードインテリジェンスタスクに限られている。 本稿では、精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。
• 参考スコア（独自算出の注目度）: 54.58108387797138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Pre-trained Language Models (PLMs), a popular approach for code intelligence, continue to grow in size, the computational cost of their usage has become prohibitively expensive. Prompt learning, a recent development in the field of natural language processing, emerges as a potential solution to address this challenge. In this paper, we investigate the effectiveness of prompt learning in code intelligence tasks. We unveil its reliance on manually designed prompts, which often require significant human effort and expertise. Moreover, we discover existing automatic prompt design methods are very limited to code intelligence tasks due to factors including gradient dependence, high computational demands, and limited applicability. To effectively address both issues, we propose Genetic Auto Prompt (GenAP), which utilizes an elaborate genetic algorithm to automatically design prompts. With GenAP, non-experts can effortlessly generate superior prompts compared to meticulously manual-designed ones. GenAP operates without the need for gradients or additional computational costs, rendering it gradient-free and cost-effective. Moreover, GenAP supports both understanding and generation types of code intelligence tasks, exhibiting great applicability. We conduct GenAP on three popular code intelligence PLMs with three canonical code intelligence tasks including defect prediction, code summarization, and code translation. The results suggest that GenAP can effectively automate the process of designing prompts. Specifically, GenAP outperforms all other methods across all three tasks (e.g., improving accuracy by an average of 2.13% for defect prediction). To the best of our knowledge, GenAP is the first work to automatically design prompts for code intelligence PLMs.
• Abstract（参考訳）: コードインテリジェンスの一般的なアプローチであるプレトレーニング言語モデル(PLM)は、サイズが拡大し続けており、それらの使用の計算コストは違法に高価になっている。 自然言語処理の分野における最近の進歩であるPrompt Learningは、この問題に対処するための潜在的な解決策として現れている。 本稿では,コードインテリジェンスタスクにおける迅速な学習の有効性について検討する。 私たちは手動で設計したプロンプトへの依存を明らかにします。 さらに、勾配依存、高い計算要求、適用可能性の制限といった要因により、既存の自動プロンプト設計手法がコードインテリジェンスタスクに非常に制限されていることを発見した。 両問題を効果的に解決するために,精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。 GenAPでは、非専門家が手作業で設計したプロンプトよりも優れたプロンプトを強制的に生成することができる。 GenAPはグラデーションや計算コストを必要とせずに動作し、グラデーションフリーでコスト効率が良い。 さらに、GenAPはコードインテリジェンスタスクの理解と生成の両方をサポートし、非常に適用性が高い。 我々は、欠陥予測、コード要約、コード翻訳を含む3つの標準コードインテリジェンスタスクを持つ3つの人気のあるコードインテリジェンス PLM上でGenAPを行う。 結果は、GenAPがプロンプトを設計するプロセスを効果的に自動化できることを示唆している。 具体的には、GenAPは他の3つのタスク(例えば、欠陥予測の精度を平均2.13%向上させる)すべてにおいて、他のメソッドよりも優れています。 我々の知る限り、GenAPはコードインテリジェンス PLM のプロンプトを自動設計する最初の試みです。

関連論文リスト

• Leveraging Large Language Models for Code Translation and Software Development in Scientific Computing [0.9668407688201359]
  生成人工知能(GenAI)は、科学計算における生産性を変革する。 我々は、コード変換の効率的なプロセスを確立するために、プロンプトエンジニアリングとユーザ管理を組み合わせたCodeScribeというツールを開発した。 AIによるコード翻訳の課題にも対処し、科学計算における生産性向上のメリットを強調します。
  論文  参考訳（メタデータ） (2024-10-31T16:48:41Z)
• ChatGPT Code Detection: Techniques for Uncovering the Source of Code [0.0]
  高度な分類技術を用いて、人間によって書かれたコードとChatGPTによって生成されたコードとを区別する。 我々は、強力な埋め込み機能(ブラックボックス)と教師付き学習アルゴリズムを組み合わせた新しいアプローチを採用する。 トレーニングされていない人間は、ランダムな推測よりも、同じタスクを解くことが示される。
  論文  参考訳（メタデータ） (2024-05-24T12:56:18Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• Generative Input: Towards Next-Generation Input Methods Paradigm [49.98958865125018]
  我々はGeneInputという新しい生成入力パラダイムを提案する。 すべての入力シナリオと他のインテリジェントな補助入力関数を処理するためにプロンプトを使用し、ユーザーフィードバックでモデルを最適化し、パーソナライズされた結果を提供する。 その結果,FK2C(Full-mode Key-sequence to Characters)タスクにおいて,最先端のパフォーマンスを初めて達成したことを示す。
  論文  参考訳（メタデータ） (2023-11-02T12:01:29Z)
• SelfEvolve: A Code Evolution Framework via Large Language Models [5.6607714367826105]
  大きな言語モデル(LLM)は、公開コードデータで事前訓練された後、コード生成に革命をもたらした。 本稿では,LLMを知識提供者と自己表現型プログラマの両方として活用する,autoknowと呼ばれる新しい2段階パイプラインを提案する。 データサイエンスコードのDS-1000、ソフトウェアエンジニアリングコードのHumanEval、C++からPythonへの翻訳のためのTransCoderの3つの自動知識生成データセットを評価した。
  論文  参考訳（メタデータ） (2023-06-05T14:12:46Z)
• Generate then Select: Open-ended Visual Question Answering Guided by World Knowledge [155.81786738036578]
  Open-ended Visual Question Answering (VQA)タスクでは、視覚と自然言語の入力をAIモデルが共同で推論する必要がある。 GPT-3のような事前訓練された言語モデル(PLM)がこのタスクに適用され、強力な世界知識源であることが示されている。 我々は,世界的知識によって導かれるジェネレータ選択戦略をデプロイする新しいVQAパイプラインであるRASOを提案する。
  論文  参考訳（メタデータ） (2023-05-30T08:34:13Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。