論文の概要: ChatCoder: Chat-based Refine Requirement Improves LLMs' Code Generation

• arxiv url: http://arxiv.org/abs/2311.00272v1
• Date: Wed, 1 Nov 2023 03:46:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 14:55:02.761952
• Title: ChatCoder: Chat-based Refine Requirement Improves LLMs' Code Generation
• Title（参考訳）: ChatCoder: LLMのコード生成を改善するチャットベースのRefine Requirement
• Authors: Zejun Wang, Jia Li, Ge Li, Zhi Jin
• Abstract要約: ChatCoderは、大きな言語モデルとのチャットを通じて要求を洗練する方法である。 ChatCoderは既存の大規模言語モデルの性能を大幅に改善したことを示す。
• 参考スコア（独自算出の注目度）: 47.27822321938487
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models have shown good performances in generating code to meet human requirements. However, human requirements expressed in natural languages can be vague, incomplete, and ambiguous, leading large language models to misunderstand human requirements and make mistakes. Worse, it is difficult for a human user to refine the requirement. To help human users refine their requirements and improve large language models' code generation performances, we propose ChatCoder: a method to refine the requirements via chatting with large language models. We design a chat scheme in which the large language models will guide the human users to refine their expression of requirements to be more precise, unambiguous, and complete than before. Experiments show that ChatCoder has improved existing large language models' performance by a large margin. Besides, ChatCoder has the advantage over refine-based methods and LLMs fine-tuned via human response.
• Abstract（参考訳）: 大規模な言語モデルは、人間の要求を満たすコードを生成する上で優れたパフォーマンスを示している。 しかし、自然言語で表現される人間の要求は曖昧で不完全で曖昧であり、大きな言語モデルが人間の要求を誤解し、間違いを犯す。 さらに悪いことに、人間のユーザーが要求を洗練することは難しい。 人間が要求を洗練し、大規模言語モデルのコード生成性能を向上させるのを助けるために、私たちは、大規模な言語モデルとチャットすることで要求を洗練する方法であるchatcoderを提案します。 私たちは、大きな言語モデルが、より正確で曖昧で完全な要件の表現を、以前よりも洗練させるよう、人間のユーザに指導するチャットスキームを設計します。 実験によると、ChatCoderは既存の大規模言語モデルのパフォーマンスを大幅に改善した。 さらにChatCoderは、人間の反応によって微調整された洗練されたメソッドやLLMよりも優れている。

関連論文リスト

• LlamaTurk: Adapting Open-Source Generative Large Language Models for Low-Resource Language [2.9914612342004503]
  本研究は、主に英語で訓練された大規模な言語モデルを低リソース言語に適応させることにより、代替的な解決策を探求する。 継続訓練,命令細調整,タスク特化細調整,語彙拡張など,さまざまな戦略を評価する。 その結果、継続学習は、難易度スコアに反映されるような言語理解を向上し、タスク固有のチューニングは、一般的に下流タスクのパフォーマンスを向上することを示した。
  論文  参考訳（メタデータ） (2024-05-13T13:41:59Z)
• SpeechAlign: Aligning Speech Generation to Human Preferences [51.684183257809075]
  本稿では,言語モデルと人間の嗜好を一致させる反復的自己改善戦略であるSpeechAlignを紹介する。 我々は、SpeechAlignが分散ギャップを埋め、言語モデルの継続的自己改善を促進することができることを示す。
  論文  参考訳（メタデータ） (2024-04-08T15:21:17Z)
• Evaluating Large Language Models as Generative User Simulators for Conversational Recommendation [20.171574438536673]
  本稿では,言語モデルが対話的推薦において人間の行動を正確にエミュレートできる程度を測定するための新しいプロトコルを提案する。 これらのタスクは、人間の行動から言語モデルの逸脱を効果的に明らかにし、モデル選択と促進戦略による逸脱を減らす方法についての洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-13T18:16:21Z)
• Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages [40.37822682459469]
  我々は、事前訓練された言語モデルに指示追従と人間の値アライメントを持たせるために、$textitchat vector$という概念を導入する。 連続的な事前訓練されたモデルの重み付けにチャットベクトルを追加するだけで、言語を必要とせずに、チャット機能をモデルに組み込むことができる。
  論文  参考訳（メタデータ） (2023-10-07T13:34:21Z)
• Qwen Technical Report [132.54304067403922]
  当社の大規模言語モデルシリーズの最初のインストールであるQwenを紹介します。 Qwenはトレーニング済みの言語モデルの基本であり、Qwen-Chatは人間のアライメント技術で微調整されたチャットモデルである。 また、コーディング特化モデルであるCode-QwenとCode-Qwen-Chatも開発し、数学に焦点を当てたMath-Qwen-Chatも開発しました。
  論文  参考訳（メタデータ） (2023-09-28T17:07:49Z)
• Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
  我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。 我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。 そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
  論文  参考訳（メタデータ） (2023-02-06T10:28:16Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。