論文の概要: LangChoiceBench: Measuring and Explaining Programming-Language Choice in LLMs
- arxiv url: http://arxiv.org/abs/2608.06041v1
- Date: Thu, 06 Aug 2026 13:52:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.769375
- Title: LangChoiceBench: Measuring and Explaining Programming-Language Choice in LLMs
- Title（参考訳）: LangChoiceBench: LLMにおけるプログラミング言語選択の測定と説明
- Abstract要約: 大規模言語モデル(LLM)は、プロジェクトレベルのコードを生成する際に、Pythonの強い好みを示すことが示されている。
我々は、Pythonの好み、レコメンデーションと実装の一貫性、言語の多様性を測定するベンチマークであるLangChoiceBenchを紹介した。
我々は25種類の LLM を評価し,Python が過度に選択され,レコメンデーションと実装の整合性が低く,より小さなオープンウェイトモデルではPython の選好が強く,言語の多様性も低いことを発見した。
- 参考スコア（独自算出の注目度）: 8.6287124496395
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have been shown to exhibit strong Python preferences when generating project-level code, but there is currently no systematic way to measure this behaviour across new models. To bridge this gap, we introduce LangChoiceBench, a project-level code-generation benchmark for measuring Python preference, recommendation-implementation consistency, and language diversity. LangChoiceBench covers 28 projects across seven software areas where Python is often a poor default. We evaluate 25 diverse LLMs and find that Python remains heavily over-selected, recommendation-implementation consistency is low, and smaller open-weight models generally show stronger Python preference and lower language diversity. We further analyse 9,826 reasoning traces and find that most Python choices are automatic or driven primarily by ease, rather than explicit consideration of project requirements. In a smaller but important set of cases, models fabricate contextual support for choosing Python - a failure mode we call phantom evidence - or produce code that contradicts the language selected in their own reasoning.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、プロジェクトレベルのコードを生成する際に、Pythonの強い好みを示すことが示されている。
このギャップを埋めるために、Pythonの好み、レコメンデーション実装の一貫性、言語の多様性を測定するためのプロジェクトレベルのコード生成ベンチマークであるLangChoiceBenchを紹介します。
LangChoiceBenchは7つのソフトウェア領域にわたる28のプロジェクトをカバーしている。
我々は25種類の LLM を評価し,Python が過度に選択され,レコメンデーションと実装の整合性が低く,より小さなオープンウェイトモデルではPython の選好が強く,言語の多様性も低いことを発見した。
さらに、9,826の推論トレースを分析し、ほとんどのPython選択は、プロジェクトの要求を明確に考慮するのではなく、自動または主として簡単によって駆動されていることに気付きました。
小さいが重要なケースのセットでは、モデルはPythonを選択するためのコンテキストサポート(ファントムエビデンスと呼ぶ失敗モード)を作成したり、あるいは独自の推論で選択された言語に矛盾するコードを生成します。
関連論文リスト
- A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。
85.7%は単一のプログラミング言語に重点を置いている。
94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。
80%以上は平均10件未満のテストケースを含む。
論文 参考訳（メタデータ） (2025-09-30T11:30:08Z) - PyVeritas: On Verifying Python via LLM-Based Transpilation and Bounded Model Checking for C [18.52519530244078]
Pythonは汎用プログラミングの主流言語になったが、形式検証のための堅牢なツールが欠けている。
PyVeritasはPythonからCへの高レベルのトランスパイルにLLM(Large Language Models)を利用する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-08-11T16:49:07Z) - SwiftEval: Developing a Language-Specific Benchmark for LLM-generated Code Evaluation [0.4962561299282114]
SwiftEvalは、手作業による問題28件からなる最初のSwift指向のベンチマークで、44の人気のあるコードLLMを評価します。
その結果,LLMは言語固有の機能を必要とする問題に対して顕著なスコア低下を示し,より小型のモデルでは最も顕著であった。
論文 参考訳（メタデータ） (2025-05-30T08:06:30Z) - A Study of LLMs' Preferences for Libraries and Programming Languages [19.688657440697632]
本研究は,大規模言語モデルのコード生成におけるライブラリやプログラミング言語に対する嗜好に関する実証的研究である。
その結果, LLM は NumPy などの広く採用されている図書館を多用する傾向が強いことが明らかとなった。
Pythonが最適言語ではない高性能なプロジェクト初期化タスクでは、58%のケースで主要な選択肢であり、Rustは一度も使われていない。
論文 参考訳（メタデータ） (2025-03-21T14:29:35Z) - EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。
このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。
19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
論文 参考訳（メタデータ） (2025-02-18T02:54:25Z) - Effective LLM-Driven Code Generation with Pythoness [0.0]
Pythonessは、大きな言語モデル(LLM)を使用したコード生成のための組み込みドメイン固有言語である。
Pythonessでは、関数やクラス、プログラム全体を記述する際に、開発者は振る舞い仕様のレベルで動作します。
Pythonessは、テストとコード生成の組み合わせをうまく利用して、仕様のみよりも高品質なコードを生成することができることを示す。
論文 参考訳（メタデータ） (2025-01-03T23:14:46Z) - CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.1875460416205]
CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。
各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。
Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
論文 参考訳（メタデータ） (2024-08-23T11:43:00Z) - Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。
Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。
言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文 参考訳（メタデータ） (2024-06-28T17:03:51Z) - Python is Not Always the Best Choice: Embracing Multilingual Program of Thoughts [51.49688654641581]
本稿では,多言語からの強みと多様性を生かしたMultiPoTというタスクとモデル非依存のアプローチを提案する。
実験の結果、Python Self-Consistencyを著しく上回ることがわかった。
特にMultiPoTはChatGPT(gpt-3.5-turbo-0701)で平均4.6%以上の改善を実現している。
論文 参考訳（メタデータ） (2024-02-16T13:48:06Z) - OPFython: A Python-Inspired Optimum-Path Forest Classifier [68.8204255655161]
本稿では,OPFythonと表記されるPythonベースのOptimum-Path Forestフレームワークを提案する。
OPFythonはPythonベースのライブラリなので、C言語よりもフレンドリーな環境とプロトタイピングの作業スペースを提供する。
論文 参考訳（メタデータ） (2020-01-28T15:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。