論文の概要: How Diversely Can Language Models Solve Problems? Exploring the Algorithmic Diversity of Model-Generated Code

• arxiv url: http://arxiv.org/abs/2503.00691v2
• Date: Fri, 07 Mar 2025 05:38:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:25:33.087458
• Title: How Diversely Can Language Models Solve Problems? Exploring the Algorithmic Diversity of Model-Generated Code
• Title（参考訳）: 言語モデルはどのようにして問題を解くことができるか? モデル生成コードのアルゴリズム的多様性を探る
• Authors: Seonghyeon Lee, Heejae Chon, Joonwon Jang, Dongha Lee, Hwanjo Yu,
• Abstract要約: 言語モデル(LM)は、自然言語の要求からコードを生成する素晴らしい能力を示している。 我々は、LMが生成するコードの多様性を、コード生成能力を評価するための重要な基準として強調する。
• 参考スコア（独自算出の注目度）: 26.321703238736813
• License:
• Abstract: Language models (LMs) have exhibited impressive abilities in generating code from natural language requirements. In this work, we highlight the diversity of code generated by LMs as a critical criterion for evaluating their code generation capabilities. There is a lack of studies focused on assessing the diversity of generated code, which overlooks its importance in code LMs. Therefore, we propose a systematic approach to evaluate code diversity, introducing various metrics with inter-code similarity. Specifically, we introduce code clustering methods that leverages LMs' capabilities in code understanding and reasoning, resulting in a set of metrics that represent the number of algorithms in model-generated solutions. We extensively investigate the property of model-generated solutions by contrasting them with human-written ones and quantifying the impact of various factors on code diversity: model size, temperature, instruction tuning, and problem complexity. Our analysis demonstrates that model-generated solutions exhibit low algorithmic diversity, which was neglected by the research community. Moreover, we explore methods to increase code diversity by combining solutions from different models and increasing sampling temperatures. Our findings highlight that code diversity can be enhanced with the help of heterogeneous models and setting temperature beyond 1.0 that has not been fully explored due to the functional correctness degradation. To facilitate our research direction, we publicly share our code and datasets through open-source repositories.
• Abstract（参考訳）: 言語モデル(LM)は、自然言語の要求からコードを生成する素晴らしい能力を示している。 本稿では,LMが生成するコードの多様性を,コード生成能力を評価するための重要な基準として強調する。 生成されたコードの多様性を評価することに焦点を当てた研究が不足しており、コードLMにおけるその重要性を見落としている。 そこで本研究では,コードの多様性を評価するための体系的なアプローチを提案する。 具体的には、コード理解と推論においてLMの能力を活用するコードクラスタリング手法を導入し、結果としてモデル生成ソリューションにおけるアルゴリズムの数を表すメトリクスのセットを作成します。 そこで我々は, モデルサイズ, 温度, 命令チューニング, 問題複雑性など, 様々な要因がコード多様性に与える影響を定量化することにより, モデル生成ソリューションの特性を広範囲にわたって検討した。 分析の結果、モデル生成ソリューションはアルゴリズムの多様性が低いことが示され、研究コミュニティは無視した。 さらに,異なるモデルからの解とサンプリング温度の増大を組み合わせることで,コードの多様性を高める方法を検討する。 この結果から,機能的正しさの低下により,不均一なモデルと1.0を超える温度設定により,コードの多様性を向上できることが示唆された。 研究の方向性を促進するため、オープンソースリポジトリを通じてコードとデータセットを公開しています。

関連論文リスト

• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Is Functional Correctness Enough to Evaluate Code Language Models? Exploring Diversity of Generated Codes [17.95094238686012]
  言語モデル(LM)は、自然言語の要求からコードを生成する素晴らしい能力を示した。 我々は、LMが生成するコードの多様性を、コード生成能力を評価するための重要な基準として強調する。 本稿では,コード間の類似性や機能的正しさを指標として,生成コードの多様性を評価するための体系的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-24T07:40:22Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data [64.69872638349922]
  本稿では、マルチソースデータに微調整されたコード生成と一般化機能を備えたコードLLMのシリーズであるAlchemistCoderを紹介する。 本稿では,データ構築過程を微調整データに組み込んで,命令の進化,データフィルタリング,コードレビューなどのコード理解タスクを提案する。
  論文  参考訳（メタデータ） (2024-05-29T16:57:33Z)
• Improving Diversity of Commonsense Generation by Large Language Models via In-Context Learning [28.654890118684957]
  生成コモンセンス推論 (Generative Commonsense Reasoning, GCR) は、コモンセンス知識を用いて状況を理解するためのモデルを必要とする。 生成の多様性は、モデルが様々な常識的知識事実を使用する能力を反映しているため、同様に重要である。 そこで本研究では,LLMの世代を多様化し,その品質を保ちながら簡便な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-25T17:52:39Z)
• Creative and Correct: Requesting Diverse Code Solutions from AI Foundation Models [8.40868688916685]
  ソフトウェアエンジニアリングのタスクでは、多様性はデザインスペースを探索し、創造性を育む上で鍵となる。 本研究では,HumanEval タスクを用いた実験により,このトレードオフを系統的に検討した。 多様性と正しさの最適なバランスを打つパラメータと戦略の組み合わせを特定します。
  論文  参考訳（メタデータ） (2024-03-20T02:51:46Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• ACES: Generating Diverse Programming Puzzles with with Autotelic Generative Models [20.039580079339537]
  Autotelic CodE Search (ACES)は、生成した問題の多様性と難易度を共同で最適化する。 問題解決に必要なプログラミングスキルを記述したセマンティック記述子の空間における問題を表現する。 ACESは、ターゲットセマンティック記述子の多様性を達成するため、大きな言語モデルに難しい問題を引き起こすことを反復的に促します。
  論文  参考訳（メタデータ） (2023-10-15T14:57:14Z)
• MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
  数学領域における推論は、小言語モデル(LM)にとって重要な課題である。 多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。 実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-16T05:41:53Z)
• Expressivity of Parameterized and Data-driven Representations in Quality Diversity Search [111.06379262544911]
  2つの異なる検索空間で実施した品質多様性進化探索の出力多様性を比較する。 学習モデルは、未知の例への外挿や拡大よりも、既知のデータポイント間の補間が優れている。
  論文  参考訳（メタデータ） (2021-05-10T10:27:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。