論文の概要: RefactorCoderQA: Benchmarking LLMs for Multi-Domain Coding Question Solutions in Cloud and Edge Deployment

• arxiv url: http://arxiv.org/abs/2509.10436v1
• Date: Fri, 12 Sep 2025 17:44:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:08.186285
• Title: RefactorCoderQA: Benchmarking LLMs for Multi-Domain Coding Question Solutions in Cloud and Edge Deployment
• Title（参考訳）: RefactorCoderQA: クラウドおよびエッジデプロイメントにおけるマルチドメインコーディング質問ソリューションのためのLLMのベンチマーク
• Authors: Shadikur Rahman, Aroosa Hameed, Gautam Srivastava, Syed Muhammad Danish,
• Abstract要約: 本稿では,Large Language Models (LLM) の性能を評価するためのベンチマークであるRefactorCoderQAを紹介する。 我々の微調整モデルであるRefactorCoder-MoEは最先端のパフォーマンスを実現し、オープンソースと商用のベースラインを76.84%で上回りました。
• 参考スコア（独自算出の注目度）: 20.416910591388618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To optimize the reasoning and problem-solving capabilities of Large Language Models (LLMs), we propose a novel cloud-edge collaborative architecture that enables a structured, multi-agent prompting framework. This framework comprises three specialized components: GuideLLM, a lightweight model deployed at the edge to provide methodological guidance; SolverLLM, a more powerful model hosted in the cloud responsible for generating code solutions; and JudgeLLM, an automated evaluator for assessing solution correctness and quality. To evaluate and demonstrate the effectiveness of this architecture in realistic settings, we introduce RefactorCoderQA, a comprehensive benchmark designed to evaluate and enhance the performance of Large Language Models (LLMs) across multi-domain coding tasks. Motivated by the limitations of existing benchmarks, RefactorCoderQA systematically covers various technical domains, including Software Engineering, Data Science, Machine Learning, and Natural Language Processing, using authentic coding challenges from Stack Overflow. Extensive experiments reveal that our fine-tuned model, RefactorCoder-MoE, achieves state-of-the-art performance, significantly outperforming leading open-source and commercial baselines with an overall accuracy of 76.84%. Human evaluations further validate the interpretability, accuracy, and practical relevance of the generated solutions. In addition, we evaluate system-level metrics, such as throughput and latency, to gain deeper insights into the performance characteristics and trade-offs of the proposed architecture.
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論と問題解決能力を最適化するために,構造化されたマルチエージェントプロンプトフレームワークを実現する,新たなクラウドエッジ協調アーキテクチャを提案する。 このフレームワークは、方法論的なガイダンスを提供するためにエッジにデプロイされた軽量モデルである GuideLLM と、コードソリューションを生成するためのクラウドにホストされるより強力なモデルである SolverLLM と、ソリューションの正しさと品質を評価するための自動評価ツールである judgeLLM の3つの特別なコンポーネントで構成されている。 このアーキテクチャの有効性を現実的な環境で評価し、実証するために、多ドメインコーディングタスク間でのLLM(Large Language Models)の性能評価と向上を目的とした総合ベンチマークであるRefactorCoderQAを紹介した。 既存のベンチマークの制限によって動機付けられたRefactorCoderQAは、Stack Overflowの真のコーディング課題を使用して、ソフトウェアエンジニアリング、データサイエンス、機械学習、自然言語処理など、さまざまな技術的ドメインを体系的にカバーしている。 大規模な実験により、我々の微調整モデルであるRefactorCoder-MoEが最先端のパフォーマンスを実現し、76.84%の精度で、主要なオープンソースと商用のベースラインを著しく上回っていることが判明した。 人間の評価は、生成した解の解釈可能性、正確性、実践的妥当性をさらに検証する。 さらに、スループットやレイテンシといったシステムレベルのメトリクスを評価し、提案アーキテクチャの性能特性とトレードオフについてより深い洞察を得る。

関連論文リスト

• Automated Optimization Modeling through Expert-Guided Large Language Model Reasoning [43.63419208391747]
  本稿では,最適化プロセスを自動化するチェーン・オブ・シント推論を通じて,専門家レベルの最適化モデリングの原則を活用する新しいフレームワークを提案する。 また、ロジスティクス領域からの新しい最適化モデリングベンチマークであるLogiORを導入し、標準化されたアノテーションに関するより複雑な問題を含む。
  論文  参考訳（メタデータ） (2025-08-20T04:14:54Z)
• CORE: Benchmarking LLMs Code Reasoning Capabilities through Static Analysis Tasks [12.465309397733249]
  大規模言語モデル(LLM)は様々なソフトウェア工学領域で広く採用されている。 これらのアプリケーションは、表面レベルのコードパターン以上の理解を必要とします。 既存のベンチマークは、コードが正しく修正されるか、生成されたかといったエンドツーエンドの結果を主に評価する。
  論文  参考訳（メタデータ） (2025-07-03T01:35:58Z)
• HeuriGym: An Agentic Benchmark for LLM-Crafted Heuristics in Combinatorial Optimization [31.908590128913094]
  HeuriGymは、LLM(Large Language Models)によって生成されたアルゴリズムを評価するために設計されたエージェントフレームワークである。 我々は、コンピュータシステム、ロジスティクス、生物学などの分野における9つの問題に対する9つの最先端モデルを評価し、ツールの使用、計画、適応推論における永続的な制限を明らかにした。 我々のオープンソースベンチマークは、科学・工学分野におけるLLMの開発をより効果的で現実的な問題解決に導くことを目的としています。
  論文  参考訳（メタデータ） (2025-06-09T17:46:47Z)
• SIMCOPILOT: Evaluating Large Language Models for Copilot-Style Code Generation [5.880496520248658]
  SIMCOPILOTは、対話型"コパイロット"スタイルのコーディングアシスタントとして、大規模言語モデル(LLM)の役割をシミュレートするベンチマークである。 ベンチマークには、Java(SIMCOPILOTJ)とPython用の専用のサブベンチマークが含まれている。
  論文  参考訳（メタデータ） (2025-05-21T04:59:44Z)
• ModelingAgent: Bridging LLMs and Mathematical Modeling for Real-World Challenges [72.19809898215857]
  ModelingBenchは、様々な領域にわたる数学モデリングの競争から、現実に着想を得たオープンエンドの問題を特徴付ける新しいベンチマークである。 これらのタスクには、自然言語を形式的な数学的定式化に翻訳し、適切なツールを適用し、構造化された防御可能なレポートを生成する必要がある。 ツール使用をコーディネートするマルチエージェントフレームワークである ModelingAgent も紹介します。
  論文  参考訳（メタデータ） (2025-05-21T03:33:23Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• Computational Reasoning of Large Language Models [51.629694188014064]
  textbfTuring Machine Benchは,Large Language Models(LLM)による推論プロセスの実行能力を評価するベンチマークである。 TMBenchには、自己完結型および知識に依存しない推論、最小主義的な多段階構造、制御可能な難易度、チューリングマシンに基づく理論的基礎の4つの重要な特徴が組み込まれている。
  論文  参考訳（メタデータ） (2025-04-29T13:52:47Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。