論文の概要: DivAlgo: A systematic evaluation of algorithmic diversity for code generation models

• arxiv url: http://arxiv.org/abs/2610.19157v1
• Date: Tue, 13 Oct 2026 20:24:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 12:10:45.437968
• Title: DivAlgo: A systematic evaluation of algorithmic diversity for code generation models
• Title（参考訳）: DivAlgo: コード生成モデルのためのアルゴリズムの多様性の体系的評価
• Abstract要約: 本稿では,アルゴリズム的に多様なプログラミング問題の解を構成する大規模データセットであるDivAlgoベンチマークを提案する。 24の現代的なコード生成モデルに対する実験では、制御されていないモデル生成コードは人間のソリューションよりもはるかに多様性が低いことが判明した。
• 参考スコア（独自算出の注目度）: 21.96985881818661
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code generation models are actively being used in professional and educational settings. However, the competence of large language models (LLMs) to generate algorithmically diverse code remains largely unknown. We propose the DivAlgo benchmark, a large-scale dataset constituting algorithmically diverse solutions to programming problems. We also introduce a lightweight similarity metric to enable large-scale evaluation. Our experiments across 24 modern code generation models found that uncontrolled model-generated code is significantly less diverse than human solutions (capturing ~31% of human diversity), and even the best diverse code generation strategy could achieve only ~70% of human diversity. Moreover, while it was possible to steer the models to generate solutions based on human strategies, they were unable to reproduce the diversity of the human solutions. These findings indicate the limitations of code generation models in capturing the algorithmic diversity humans exhibit, and that overexposure to model-generated code can narrow programmers' algorithmic vocabulary.
• Abstract（参考訳）: コード生成モデルは、専門的および教育的な設定で積極的に使われています。 しかし、アルゴリズム的に多様なコードを生成する大規模言語モデル(LLM)の能力はほとんど不明である。 本稿では,アルゴリズム的に多様なプログラミング問題の解を構成する大規模データセットであるDivAlgoベンチマークを提案する。 大規模評価を可能にする軽量な類似度指標も導入する。 現代の24のコード生成モデルに対する我々の実験では、制御されていないモデル生成コードは、人間のソリューション(人間の多様性の31%を達成)よりも著しく多様性が低く、最も多様なコード生成戦略でさえ、人間の多様性の70%しか達成できないことがわかった。 さらに,人的戦略に基づく解をモデルで生成することは可能であったが,人間の解の多様性を再現することはできなかった。 これらの結果は、人間が示すアルゴリズムの多様性を捉える際のコード生成モデルの限界を示し、モデル生成コードへの過剰な露出は、プログラマのアルゴリズム語彙を狭める可能性があることを示している。

関連論文リスト

• Coding Triangle: How Does Large Language Model Understand Code? [33.42334127806147]
  大規模言語モデル (LLM) はコード生成において顕著な進歩を遂げているが、真のプログラミング能力は未解明のままである。 本稿では,3つの基本的な側面(編集解析,コード実装,テストケース生成)にまたがってLLMを体系的に評価するCode Triangleフレームワークを紹介する。
  論文  参考訳（メタデータ） (2025-07-08T16:20:43Z)
• Continual Learning for Generative AI: From LLMs to MLLMs and Beyond [56.29231194002407]
  本稿では,主流生成型AIモデルに対する連続学習手法の総合的な調査を行う。 これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。 我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
  論文  参考訳（メタデータ） (2025-06-16T02:27:25Z)
• How Diversely Can Language Models Solve Problems? Exploring the Algorithmic Diversity of Model-Generated Code [26.321703238736813]
  言語モデル(LM)は、自然言語の要求からコードを生成する素晴らしい能力を示している。 我々は、LMが生成するコードの多様性を、コード生成能力を評価するための重要な基準として強調する。
  論文  参考訳（メタデータ） (2025-03-02T02:04:58Z)
• Multi-Programming Language Ensemble for Code Generation in Large Language Model [5.882816711878273]
  大規模言語モデル(LLM)は、特にワンパスコード生成において、コード生成を大幅に改善した。 既存のアプローチのほとんどは、単一のプログラミング言語でコードを生成することだけに重点を置いており、LLMの多言語機能を活用する可能性を見越している。 本稿では,複数の言語にまたがるコード生成を利用して全体的な性能を向上させる,新しいアンサンブルに基づくMulti-Programming Language Ensemble (MPLE)を提案する。
  論文  参考訳（メタデータ） (2024-09-06T08:31:18Z)
• ACES: Generating Diverse Programming Puzzles with with Autotelic Generative Models [20.039580079339537]
  Autotelic CodE Search (ACES)は、生成した問題の多様性と難易度を共同で最適化する。 問題解決に必要なプログラミングスキルを記述したセマンティック記述子の空間における問題を表現する。 ACESは、ターゲットセマンティック記述子の多様性を達成するため、大きな言語モデルに難しい問題を引き起こすことを反復的に促します。
  論文  参考訳（メタデータ） (2023-10-15T14:57:14Z)
• Self-planning Code Generation with Large Language Models [54.41645432114179]
  本稿では,大規模言語モデルを用いた自己計画型コード生成手法を提案する。 計画段階では、モデルは意図から簡潔で形式化された計画手順を概説する。 実装フェーズでは、モデルが前回の計画ステップでガイドされたステップごとにコードを生成する。
  論文  参考訳（メタデータ） (2023-03-12T15:36:03Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Differentiable Multi-Granularity Human Representation Learning for Instance-Aware Human Semantic Parsing [131.97475877877608]
  カテゴリーレベルの人間のセマンティックセグメンテーションとマルチパーソンポーズ推定を共同およびエンドツーエンドで学習するために,新たなボトムアップ方式を提案する。 さまざまな人間の粒度にわたって構造情報を利用する、コンパクトで効率的で強力なフレームワークです。 3つのインスタンス認識型ヒューマンデータセットの実験は、我々のモデルがより効率的な推論で他のボトムアップの代替案よりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-03-08T06:55:00Z)
• Conditional Generative Modeling via Learning the Latent Space [54.620761775441046]
  マルチモーダル空間における条件生成のための新しい枠組みを提案する。 潜在変数を使って一般化可能な学習パターンをモデル化する。 推論では、潜伏変数は複数の出力モードに対応する最適解を見つけるために最適化される。
  論文  参考訳（メタデータ） (2020-10-07T03:11:34Z)
• Discovering Representations for Black-box Optimization [73.59962178534361]
  ブラックボックス最適化符号化は手作業で行うのではなく,自動的に学習可能であることを示す。 学習された表現は、標準的なMAP-Elitesよりも桁違いに少ない評価で高次元の問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-03-09T20:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。