論文の概要: MHRC-Bench: A Multilingual Hardware Repository-Level Code Completion benchmark

• arxiv url: http://arxiv.org/abs/2601.03708v1
• Date: Wed, 07 Jan 2026 08:46:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 02:15:23.381492
• Title: MHRC-Bench: A Multilingual Hardware Repository-Level Code Completion benchmark
• Title（参考訳）: MHRC-Bench:マルチリンガルハードウェアリポジトリレベルのコード補完ベンチマーク
• Authors: Qingyun Zou, Jiahao Cui, Nuo Chen, Bingsheng He, Weng-Fai Wong,
• Abstract要約: textbfMHRC-Bench-Train と textbfMHRC-Bench-Eval からなる textbfMHRC-Bench-Bench は,リポジトリレベルでの多言語ハードウェアコード補完のために設計された最初のベンチマークである。 我々のベンチマークでは、完了タスクを目標とし、3つの主要なハードウェア設計コーディングスタイルをカバーしている。 MHRC-Benchの総合評価結果と解析結果から, MHRC-Benchの有効性が示された。
• 参考スコア（独自算出の注目度）: 37.68243855846105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved strong performance on code completion tasks in general-purpose programming languages. However, existing repository-level code completion benchmarks focus almost exclusively on software code and largely overlook hardware description languages. In this work, we present \textbf{MHRC-Bench}, consisting of \textbf{MHRC-Bench-Train} and \textbf{MHRC-Bench-Eval}, the first benchmark designed for multilingual hardware code completion at the repository level. Our benchmark targets completion tasks and covers three major hardware design coding styles. Each completion target is annotated with code-structure-level and hardware-oriented semantic labels derived from concrete syntax tree analysis. We conduct a comprehensive evaluation of models on MHRC-Bench-Eval. Comprehensive evaluation results and analysis demonstrate the effectiveness of MHRC-Bench.
• Abstract（参考訳）: 大規模言語モデル(LLM)は汎用プログラミング言語のコード補完タスクにおいて高い性能を達成している。 しかし、既存のリポジトリレベルのコード補完ベンチマークは、ほとんどソフトウェアコードに集中しており、ほとんどハードウェア記述言語を見落としている。 本稿では,レポジトリレベルでのマルチリンガルハードウェアコード補完のための最初のベンチマークである \textbf{MHRC-Bench-Train} と \textbf{MHRC-Bench-Eval} からなる。 我々のベンチマークでは、完了タスクを目標とし、3つの主要なハードウェア設計コーディングスタイルをカバーしている。 各完了ターゲットには、具体的な構文木解析から派生したコード構造レベルおよびハードウェア指向のセマンティックラベルが注釈付けされている。 MHRC-Bench-Eval のモデルに対する包括的評価を行う。 MHRC-Benchの総合評価結果と解析結果から, MHRC-Benchの有効性が示された。

関連論文リスト

• MRG-Bench: Evaluating and Exploring the Requirements of Context for Repository-Level Code Generation [0.7342677574855649]
  大規模言語モデルのより正確な評価を提供する新しいデータセットである textbfMRG-Bench を紹介する。 我々は,大規模言語モデル,長期コンテキストモデル,RAG関連手法を含む実験を行う。 その結果、ほとんどの手法は「ユーザ要求を理解することの難しさ」に悩まされており、割り当てられたタスクを正確に理解できないことがわかった。
  論文  参考訳（メタデータ） (2025-08-05T01:53:45Z)
• Skeleton-Guided-Translation: A Benchmarking Framework for Code Repository Translation with Fine-Grained Quality Evaluation [37.25839260805938]
  Skeleton-Guided-Translationは、リポジトリレベルのJavaからC#へのコード変換のためのフレームワークで、きめ細かい品質評価がある。 本稿では,高品質なオープンソースJavaレポジトリとその対応するC#スケルトンベンチマークであるTransREPO-BENCHを紹介する。
  論文  参考訳（メタデータ） (2025-01-27T13:44:51Z)
• ExecRepoBench: Multi-level Executable Code Completion Evaluation [45.963424627710765]
  本稿では,リポジトリレベルのベンチマークであるExecRepoBenchの作成を通じて,ソフトウェア開発におけるコード補完を強化する新しいフレームワークを紹介する。 本稿では,抽象構文木をベースとした多段階文法ベースの補完手法を提案し,様々な論理単位のコードフラグメントをマスキングする。 次に,Repo-Instruct の 7B パラメータでオープンソースの LLM を微調整し,強力なコード補完ベースラインモデル Qwen2.5-Coder-Instruct-C を生成する。
  論文  参考訳（メタデータ） (2024-12-16T17:14:35Z)
• M2rc-Eval: Massively Multilingual Repository-level Code Completion Evaluation [39.6123499117046]
  18のプログラミング言語をカバーする多言語リポジトリレベルのコード補完ベンチマークを提案する。 異なる補完シナリオに2種類の細かいアノテーション(バケットレベルとセマンティックレベル)が提供される。 また、M2RC-INSTRUCTデータセットを多言語で作成し、既存のコード大言語モデルのリポジトリレベルのコード補完能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-28T15:58:41Z)
• CoIR: A Comprehensive Benchmark for Code Information Retrieval Models [52.61625841028781]
  COIR(Code Information Retrieval Benchmark)は、コード検索機能を評価するために設計された、堅牢で包括的なベンチマークである。 COIRは、厳密にキュレートされた10のコードデータセットで構成され、7つの異なるドメインにまたがる8つの特有の検索タスクにまたがる。 我々は,COIRを用いた9つの広く使用されている検索モデルを評価し,最先端システムにおいても,コード検索タスクの実行に重大な困難があることを明らかにする。
  論文  参考訳（メタデータ） (2024-07-03T07:58:20Z)
• VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
  大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。 バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。 VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
  論文  参考訳（メタデータ） (2024-06-11T16:15:06Z)
• R2C2-Coder: Enhancing and Benchmarking Real-world Repository-level Code Completion Abilities of Code Large Language Models [62.20537000942005]
  我々は,R2C2-Coderを提案し,大規模言語モデルの実世界のリポジトリレベルのコード補完能力を向上し,ベンチマークする。 R2C2-Coderには、コードプロンプトコンストラクションメソッドR2C2-Enhanceと、よく設計されたベンチマークR2C2-Benchが含まれている。
  論文  参考訳（メタデータ） (2024-06-03T14:24:29Z)
• CodeS: Natural Language to Code Repository via Multi-Layer Sketch [33.29324601674667]
  コードリポジトリ(NL2Repo)に自然言語という新しいソフトウェアエンジニアリングタスクを導入する。 このタスクは、自然言語要求からコードリポジトリ全体を生成することを目的としている。 多層スケッチによりNL2Repoを複数のサブタスクに分解する,シンプルで効果的なフレームワークCodeSを提案する。
  論文  参考訳（メタデータ） (2024-03-25T06:09:55Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。