論文の概要: Language Models Can Teach Themselves to Program Better

• arxiv url: http://arxiv.org/abs/2207.14502v4
• Date: Wed, 12 Apr 2023 16:35:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 18:53:22.167808
• Title: Language Models Can Teach Themselves to Program Better
• Title（参考訳）: 言語モデルはより良いプログラミングを教えることができる
• Authors: Patrick Haluptzok, Matthew Bowers, Adam Tauman Kalai
• Abstract要約: 近年の言語モデル (LM) は、人間の許可を受けた問題で訓練された場合、コード生成において画期的な性能を達成する。 そこで本研究では,Pythonインタプリタの正しさをフィルタするプログラミング問題と解を,LMが合成可能であることを示す。 LMの性能は、独自の合成問題と検証された解を微調整することで改善される。
• 参考スコア（独自算出の注目度）: 4.627023679353507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Language Models (LMs) achieve breakthrough performance in code generation when trained on human-authored problems, even solving some competitive-programming problems. Self-play has proven useful in games such as Go, and thus it is natural to ask whether LMs can generate their own instructive programming problems to improve their performance. We show that it is possible for an LM to synthesize programming problems and solutions, which are filtered for correctness by a Python interpreter. The LM's performance is then seen to improve when it is fine-tuned on its own synthetic problems and verified solutions; thus the model 'improves itself' using the Python interpreter. Problems are specified formally as programming puzzles [Schuster et al., 2021], a code-based problem format where solutions can easily be verified for correctness by execution. In experiments on publicly-available LMs, test accuracy more than doubles. This work demonstrates the potential for code LMs, with an interpreter, to generate instructive problems and improve their own performance.
• Abstract（参考訳）: 最近の言語モデル(LM)は、人間による問題や、競争力のあるプログラミングの問題を解決することで、コード生成において画期的なパフォーマンスを達成する。 セルフプレイはgoのようなゲームで有用であることが証明されており、lmsがパフォーマンスを改善するために独自の指導的プログラミング問題を生成することができるかどうかを問うのは自然である。 そこで本研究では,Pythonインタプリタの正しさをフィルタするプログラミング問題と解を,LMが合成可能であることを示す。 lmのパフォーマンスは、自身の合成問題と検証済みソリューションで微調整された場合に改善されると見なされるため、pythonインタプリタを使ってモデルが「改善」される。 問題はプログラミングパズル[schuster et al., 2021]として公式に指定され、コードベースの問題フォーマットで、ソリューションは実行時に容易に検証できる。 一般に利用可能なLMの実験では、テスト精度は2倍以上である。 この研究は、コードLMがインタプリタとともに、インストラクティブな問題を引き起こし、自身のパフォーマンスを改善する可能性を実証している。

関連論文リスト

• Effective LLM-Driven Code Generation with Pythoness [0.0]
  Pythonessは、大きな言語モデル(LLM)を使用したコード生成のための組み込みドメイン固有言語である。 Pythonessでは、関数やクラス、プログラム全体を記述する際に、開発者は振る舞い仕様のレベルで動作します。 Pythonessは、テストとコード生成の組み合わせをうまく利用して、仕様のみよりも高品質なコードを生成することができることを示す。
  論文  参考訳（メタデータ） (2025-01-03T23:14:46Z)
• Learning to Reason via Program Generation, Emulation, and Search [33.11955431589091]
  言語モデル(LM)によるプログラム合成は、多くの推論能力を解放した。 すべての推論タスクは、コードとして容易に表現できるわけではない。例えば、常識的推論、道徳的意思決定、皮肉な理解を含むタスクである。 我々は,プログラム合成スキルをこのようなタスクに拡張するために,コード生成とエミュレートされた実行(CoGEX)を提案する。
  論文  参考訳（メタデータ） (2024-05-25T19:40:50Z)
• A Novel Approach for Automatic Program Repair using Round-Trip Translation with Large Language Models [50.86686630756207]
  研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。 現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。 本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T22:36:31Z)
• The Consensus Game: Language Model Generation via Equilibrium Search [73.51411916625032]
  言語モデル復号のための学習不要なゲーム理論を新たに導入する。 本手法では,正規化不完全情報シーケンシャルシグナリングゲームとして,言語モデルの復号化を行う。 EQUILIBRium-RANKINGをLLaMA-7Bに適用すると、より大型のLLaMA-65BとPaLM-540Bより優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-10-13T14:27:21Z)
• Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation [23.31928097405939]
  言語モデルに融合した足場プログラムを用いて自己改善を行う。 言語モデルにより、様々な自己改善戦略が提案されている。 これは、近代的な言語モデルであるGPT-4が、自分自身を改善のために呼び出すことができるコードを書くことができることを実証している。
  論文  参考訳（メタデータ） (2023-10-03T17:59:32Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)
• PAL: Program-aided Language Models [112.94785609781503]
  自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。 PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。 私たちは12のベンチマークで新しい最先端の結果を設定しました。
  論文  参考訳（メタデータ） (2022-11-18T18:56:13Z)
• Piloting Copilot and Codex: Hot Temperature, Cold Prompts, or Black Magic? [5.714553194279462]
  2つの言語モデルの様々な入力パラメータについて検討し、これらの入力パラメータの変動が生成したプログラムの品質に重大な影響を及ぼすかどうかを理解するために研究を行う。 その結果,入力パラメータの変動は言語モデルの性能を著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-10-26T13:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。