論文の概要: CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language

• arxiv url: http://arxiv.org/abs/2603.14501v1
• Date: Sun, 15 Mar 2026 17:35:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.853984
• Title: CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language
• Title（参考訳）: CangjieBench:低リソースの汎用プログラミング言語上でのLLMのベンチマーク
• Authors: Junhang Cheng, Fang Liu, Jia Li, Chengru Wu, Nanxiang Jiang, Li Zhang,
• Abstract要約: 我々は,低リソース汎用言語であるCangjieの汚染のないベンチマークであるCangjieBenchを紹介する。 ベンチマークは、HumanEvalとClassEvalから手作業で翻訳された248の高品質なサンプルで構成されている。 実験の結果、ダイレクトジェネレーションは性能が悪く、シンタクス制約ジェネレーションは精度と計算コストの最良のトレードオフを提供することがわかった。
• 参考スコア（独自算出の注目度）: 10.19354135187181
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models excel in high-resource programming languages but struggle with low-resource ones. Existing research related to low-resource programming languages primarily focuses on Domain-Specific Languages (DSLs), leaving general-purpose languages that suffer from data scarcity underexplored. To address this gap, we introduce CangjieBench, a contamination-free benchmark for Cangjie, a representative low-resource general-purpose language. The benchmark comprises 248 high-quality samples manually translated from HumanEval and ClassEval, covering both Text-to-Code and Code-to-Code tasks. We conduct a systematic evaluation of diverse LLMs under four settings: Direct Generation, Syntax-Constrained Generation, Retrieval-Augmented Generation (RAG), and Agent. Experiments reveal that Direct Generation performs poorly, whereas Syntax-Constrained Generation offers the best trade-off between accuracy and computational cost. Agent achieve state-of-the-art accuracy but incur high token consumption. Furthermore, we observe that Code-to-Code translation often underperforms Text-to-Code generation, suggesting a negative transfer phenomenon where models overfit to the source language patterns. We hope that our work will offer valuable insights into LLM generalization to unseen and low-resource programming languages. Our code and data are available at https://github.com/cjhCoder7/CangjieBench.
• Abstract（参考訳）: 大規模な言語モデルは、高リソースのプログラミング言語では優れているが、低リソースの言語では苦労している。 低リソースプログラミング言語に関する既存の研究は主にドメイン特化言語(DSL)に焦点を当てており、データ不足に悩まされている汎用言語を残している。 このギャップに対処するため、CangjieBenchは、Cangjieの汚染のないベンチマークである。 このベンチマークは、HumanEvalとClassEvalから手動で翻訳された248の高品質なサンプルで構成され、Text-to-CodeタスクとCode-to-Codeタスクの両方をカバーする。 我々は, 直接生成, 構文制約生成, 検索拡張生成 (RAG) , エージェントの4つの設定の下で, 多様なLCMの系統的評価を行う。 実験の結果、ダイレクトジェネレーションは性能が悪く、シンタクス制約ジェネレーションは精度と計算コストの最良のトレードオフを提供することがわかった。 エージェントは最先端の精度を達成するが、高いトークン消費をもたらす。 さらに,コード・トゥ・コード翻訳はテキスト・ツー・コード生成を過小評価することが多く,モデルがソースコードパターンに過度に適合する負の転送現象が示唆される。 私たちは、LLMの一般化に関する貴重な洞察を、目に見えない低リソースのプログラミング言語に提供したいと思っています。 私たちのコードとデータはhttps://github.com/cjhCoder7/CangjieBench.comで公開されています。

関連論文リスト

• IFEvalCode: Controlled Code Generation [69.28317223249358]
  本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。 IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-30T08:08:48Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• mHumanEval -- A Multilingual Benchmark to Evaluate Large Language Models for Code Generation [28.531581489405745]
  mHumanEvalは200以上の自然言語でプロンプトをサポートする拡張ベンチマークである。 我々は15の多様な自然言語(NL)に対して専門的な人文翻訳を提供する。 我々は,SOTA (State-of-the-art) Code LLMの多言語コード生成能力を解析して結論付ける。
  論文  参考訳（メタデータ） (2024-10-19T08:44:26Z)
• Investigating the Transferability of Code Repair for Low-Resource Programming Languages [57.62712191540067]
  大規模言語モデル(LLM)は、コード生成タスクにおいて顕著なパフォーマンスを示している。 近年の作業は、連鎖推論や蒸留といった現代的な技術を統合することで、コード修復のプロセスを強化している。 高低資源言語と低低資源言語の両方でコード修復を蒸留する利点について検討する。
  論文  参考訳（メタデータ） (2024-06-21T05:05:39Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  CodeGRAGは、制御フローとそれらのデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミングドメインの知識をよりよく解釈する。 CodeGRAGはLLMのコード生成能力を大幅に改善し、言語間コード生成のパフォーマンス向上も実現している。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• GenCodeSearchNet: A Benchmark Test Suite for Evaluating Generalization in Programming Language Understanding [5.9535699822923]
  我々は,言語モデルの言語理解能力を評価するために,GenCodeSearchNet (GeCS) という新しいベンチマークデータセットを提案する。 完全なデータセットの一部として、我々が導入した新しい手作業でキュレートされたサブセットであるStatCodeSearchは、人気があるが、これまでのところあまり表現されていないプログラミング言語である。 評価と比較のために、細調整されたBERTスタイルモデルとGPTスタイルの大規模言語モデルを用いて、いくつかのベースライン結果を収集した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:00Z)
• Cross-lingual Transfer in Programming Languages: An Extensive Empirical Study [5.350495525141013]
  大規模言語モデル(LLM)は、様々なソフトウェアエンジニアリングタスクにおいて最先端のパフォーマンスを達成した。 RustやSwiftといった重要な言語は、公開コードに制限があるため、低リソースのままである。 対象とタスクに対して最適なソース言語を推定する性能予測モデルを構築した。
  論文  参考訳（メタデータ） (2023-10-25T19:04:33Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。