論文の概要: Piloting Copilot and Codex: Hot Temperature, Cold Prompts, or Black Magic?

• arxiv url: http://arxiv.org/abs/2210.14699v1
• Date: Wed, 26 Oct 2022 13:28:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 15:34:48.976650
• Title: Piloting Copilot and Codex: Hot Temperature, Cold Prompts, or Black Magic?
• Title（参考訳）: コピロットとコーデックスの操縦士:温かい温度、冷たいプロンプト、ブラックマジック?
• Authors: Jean-Baptiste D\"oderlein, Mathieu Acher, Djamel Eddine Khelladi, Benoit Combemale
• Abstract要約: 2つの言語モデルの様々な入力パラメータについて検討し、これらの入力パラメータの変動が生成したプログラムの品質に重大な影響を及ぼすかどうかを理解するために研究を行う。 その結果,入力パラメータの変動は言語モデルの性能を著しく向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 5.714553194279462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are promising solutions for tackling increasing complex problems. In software engineering, they recently attracted attention in code assistants, with programs automatically written in a given programming language from a programming task description in natural language. They have the potential to save time and effort when writing code. However, these systems are currently poorly understood, preventing them from being used optimally. In this paper, we investigate the various input parameters of two language models, and conduct a study to understand if variations of these input parameters (e.g. programming task description and the surrounding context, creativity of the language model, number of generated solutions) can have a significant impact on the quality of the generated programs. We design specific operators for varying input parameters and apply them over two code assistants (Copilot and Codex) and two benchmarks representing algorithmic problems (HumanEval and LeetCode). Our results showed that varying the input parameters can significantly improve the performance of language models. However, there is a tight dependency when varying the temperature, the prompt and the number of generated solutions, making potentially hard for developers to properly control the parameters to obtain an optimal result. This work opens opportunities to propose (automated) strategies for improving performance.
• Abstract（参考訳）: 言語モデルは、ますます複雑な問題に取り組むための有望なソリューションである。 ソフトウェア工学において、彼らは最近、自然言語によるプログラミングタスク記述から、与えられたプログラミング言語で自動的にプログラムが書かれるコードアシスタントに注目を集めた。 コードを書くとき、時間と労力を節約できる可能性がある。 しかし、これらのシステムは現在あまり理解されておらず、最適な使用を妨げている。 本稿では、2つの言語モデルの様々な入力パラメータについて検討し、これらの入力パラメータのバリエーション(例えば、プログラミングタスク記述と周辺状況、言語モデルの創造性、生成したソリューションの数)が生成されたプログラムの品質に重大な影響を与えるかどうかを理解するための研究を行う。 入力パラメータの異なる特定の演算子を設計し,2つのコードアシスタント(copilotとcodex)とアルゴリズム問題を表す2つのベンチマーク(humanevalとleetcode)に適用する。 その結果,入力パラメータの変化によって言語モデルの性能が著しく向上することがわかった。 しかし、温度やプロンプト、生成したソリューションの数を変えると、依存関係が強くなり、最適な結果を得るためにパラメータを適切に制御することが難しくなる可能性がある。 この作業は、パフォーマンスを改善するための(自動化された)戦略を提案する機会を開く。

関連論文リスト

• Integrating Natural Language Prompting Tasks in Introductory Programming Courses [3.907735250728617]
  本報告では、導入プログラミングコースに2つのプロンプトに焦点を当てたアクティビティを組み込むことについて検討する。 第一に、学生は自然言語のプロンプトを書き、構文上の問題解決を強調することで、計算問題を解く必要がある。 2つ目は、プロンプトとコードの関係を理解するために、提供されたフラグメントに相当するコードを生成するプロンプトを作成することである。
  論文  参考訳（メタデータ） (2024-10-04T01:03:25Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• Linguacodus: A Synergistic Framework for Transformative Code Generation in Machine Learning Pipelines [0.0]
  本稿では,自然言語のタスク記述を高レベルなデータ生成命令によってコードに変換する動的パイプラインを提案する。 本稿では、微調整過程を詳述し、自然言語記述を関数型コードに変換する方法について光を当てる。 本稿では,MLタスクの自然な記述を人間のインタラクションを最小限に抑えたコードに変換するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:58:47Z)
• Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation [23.31928097405939]
  言語モデルに融合した足場プログラムを用いて自己改善を行う。 言語モデルにより、様々な自己改善戦略が提案されている。 これは、近代的な言語モデルであるGPT-4が、自分自身を改善のために呼び出すことができるコードを書くことができることを実証している。
  論文  参考訳（メタデータ） (2023-10-03T17:59:32Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Guess & Sketch: Language Model Guided Transpilation [59.02147255276078]
  学習されたトランスパイレーションは、手作業による書き直しやエンジニアリングの取り組みに代わるものだ。 確率的ニューラルネットワークモデル(LM)は、入力毎に可塑性出力を生成するが、正確性を保証するコストがかかる。 Guess & Sketch は LM の特徴からアライメントと信頼性情報を抽出し、意味的等価性を解決するためにシンボリック・ソルバに渡す。
  論文  参考訳（メタデータ） (2023-09-25T15:42:18Z)
• Language Models Can Teach Themselves to Program Better [4.627023679353507]
  近年の言語モデル (LM) は、人間の許可を受けた問題で訓練された場合、コード生成において画期的な性能を達成する。 そこで本研究では,Pythonインタプリタの正しさをフィルタするプログラミング問題と解を,LMが合成可能であることを示す。 LMの性能は、独自の合成問題と検証された解を微調整することで改善される。
  論文  参考訳（メタデータ） (2022-07-29T06:43:28Z)
• Automatic Generation of Programming Exercises and Code Explanations with Large Language Models [4.947560475228859]
  OpenAI Codexは、GPT-3ファミリーの最近の大規模言語モデルで、コードを自然言語に翻訳する。 プログラミング演習の2つの段階において,Codexの自然言語生成能力について検討する。 自動生成されるコンテンツの大部分は、新しいものでも、理にかなったものでも、多くの場合、そのまま使えるものなのです。
  論文  参考訳（メタデータ） (2022-06-03T11:00:43Z)
• Natural Language to Code Translation with Execution [82.52142893010563]
  実行結果-プログラム選択のための最小ベイズリスク復号化。 そこで本研究では,自然言語からコードへのタスクにおいて,事前訓練されたコードモデルの性能を向上することを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:06:08Z)
• A Conversational Paradigm for Program Synthesis [110.94409515865867]
  本稿では,大規模言語モデルを用いた対話型プログラム合成手法を提案する。 私たちは、自然言語とプログラミング言語のデータに基づいて、CodeGenと呼ばれる大規模な言語モデルのファミリーを訓練します。 本研究は,会話能力の出現と,提案した会話プログラム合成パラダイムの有効性を示すものである。
  論文  参考訳（メタデータ） (2022-03-25T06:55:15Z)
• AVATAR: A Parallel Corpus for Java-Python Program Translation [77.86173793901139]
  プログラム翻訳とは、ある言語から別の言語へソースコードを移行することを指す。 AVATARは9,515のプログラミング問題とそのソリューションをJavaとPythonという2つの人気のある言語で記述したものです。
  論文  参考訳（メタデータ） (2021-08-26T05:44:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。