論文の概要: Studying How Configurations Impact Code Generation in LLMs: the Case of ChatGPT

• arxiv url: http://arxiv.org/abs/2502.17450v1
• Date: Fri, 07 Feb 2025 18:04:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 03:23:03.613469
• Title: Studying How Configurations Impact Code Generation in LLMs: the Case of ChatGPT
• Title（参考訳）: LLMにおける構成がコード生成にどう影響するか -ChatGPTの場合-
• Authors: Benedetta Donato, Leonardo Mariani, Daniela Micucci, Oliviero Riganelli,
• Abstract要約: 本稿では,コード生成モデルにおける温度およびトップpパラメータの影響を系統的に研究する。 クリエイティビティがコード生成タスクをどのように強化するかを示します。 モデルの非決定性に対処するための具体的なレコメンデーションを提供する。
• 参考スコア（独自算出の注目度）: 4.8748194765816955
• License:
• Abstract: Leveraging LLMs for code generation is becoming increasingly common, as tools like ChatGPT can suggest method implementations with minimal input, such as a method signature and brief description. Empirical studies further highlight the effectiveness of LLMs in handling such tasks, demonstrating notable performance in code generation scenarios. However, LLMs are inherently non-deterministic, with their output influenced by parameters such as temperature, which regulates the model's level of creativity, and top-p, which controls the choice of the tokens that shall appear in the output. Despite their significance, the role of these parameters is often overlooked. This paper systematically studies the impact of these parameters, as well as the number of prompt repetitions required to account for non-determinism, in the context of 548 Java methods. We observe significantly different performances across different configurations of ChatGPT, with temperature having a marginal impact compared to the more prominent influence of the top-p parameter. Additionally, we show how creativity can enhance code generation tasks. Finally, we provide concrete recommendations for addressing the non-determinism of the model.
• Abstract（参考訳）: ChatGPTのようなツールは、メソッドシグネチャや簡単な記述など、最小限のインプットを持つメソッド実装を提案することができる。 実証的研究は、コード生成シナリオにおける顕著なパフォーマンスを示すとともに、そのようなタスクを扱う上でのLLMの有効性をさらに強調している。 しかし、LLMは本質的に非決定論的であり、その出力は、モデルの創造性のレベルを制御する温度や、出力に現れるトークンの選択を制御するトップpなどのパラメータの影響を受けている。 その重要性にもかかわらず、これらのパラメータの役割はしばしば見過ごされる。 本稿では,これらのパラメータの影響と,非決定性を考慮した迅速な反復回数を,548のJavaメソッドの文脈で系統的に検討する。 また,ChatGPTの異なる構成において,トップpパラメータの顕著な影響に対して,温度が限界的な影響を持つ場合,顕著に異なる性能を観察した。 さらに、クリエイティビティがコード生成タスクをどのように強化するかを示す。 最後に、モデルの非決定性に対処するための具体的なレコメンデーションを提供する。

関連論文リスト

• Enhancing Item Tokenization for Generative Recommendation through Self-Improvement [67.94240423434944]
  生成レコメンデーションシステムは大規模言語モデル(LLM)によって駆動される 現在のアイテムトークン化手法には、テキスト記述、数値文字列、離散トークンのシーケンスの使用が含まれる。 自己改善アイテムトークン化手法を提案し,LLMがトレーニングプロセス中に独自のアイテムトークン化を洗練できるようにする。
  論文  参考訳（メタデータ） (2024-12-22T21:56:15Z)
• Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
  In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。 本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
  論文  参考訳（メタデータ） (2024-08-14T12:32:41Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• SED: Self-Evaluation Decoding Enhances Large Language Models for Better Generation [35.10931307279044]
  本稿では,モデル生成の高速化を目的とした自己評価復号法であるSEDを提案する。 推測と評価のステップをデコードプロセスに統合し、LCMがより慎重に決定できるようにします。
  論文  参考訳（メタデータ） (2024-05-26T12:43:18Z)
• Sample Design Engineering: An Empirical Study of What Makes Good Downstream Fine-Tuning Samples for LLMs [23.766782325052418]
  本稿では,大規模言語モデルの性能向上のための方法論的アプローチであるサンプル設計工学(SDE)を紹介する。 LLMのダウンストリーム性能に対する様々な設計オプションの影響を評価するために、一連のドメイン内(ID)および外部(OOD)実験を行う。 本稿では,SDE統合戦略を提案し,最も効果的な選択肢を組み合わせるとともに,複雑な下流タスクにおけるサンプル設計よりも一貫した優位性を検証した。
  論文  参考訳（メタデータ） (2024-04-19T17:47:02Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
  推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。 我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。 ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
  論文  参考訳（メタデータ） (2023-08-23T16:32:54Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
  パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。 本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。