論文の概要: Prism: Dynamic and Flexible Benchmarking of LLMs Code Generation with Monte Carlo Tree Search

• arxiv url: http://arxiv.org/abs/2504.05500v1
• Date: Mon, 07 Apr 2025 20:53:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:32:32.140290
• Title: Prism: Dynamic and Flexible Benchmarking of LLMs Code Generation with Monte Carlo Tree Search
• Title（参考訳）: Prism: Monte Carlo Tree Search を用いた LLM コード生成の動的かつ柔軟なベンチマーク
• Authors: Vahid Majdinasab, Amin Nikanjam, Foutse Khomh,
• Abstract要約: 静的ベンチマークは、LLM(Large Language Models)の機能の深さと幅を捉えていない。 包括的LLM評価のために設計されたフレキシブルで動的なベンチマークフレームワークであるPrismを紹介する。 Prismは,(1)マルコフ決定過程として評価をモデル化した木に基づく状態表現,(2)困難な評価シナリオを明らかにするために適応したモンテカルロ木探索アルゴリズム,(3)多様な能力の同時評価を可能にするマルチエージェント評価パイプラインである。
• 参考スコア（独自算出の注目度）: 13.135962181354465
• License:
• Abstract: The rapid advancement of Large Language Models (LLMs) has outpaced traditional evaluation methods. Static benchmarks fail to capture the depth and breadth of LLM capabilities and eventually become obsolete, while most dynamic approaches either rely too heavily on LLM-based evaluation or remain constrained by predefined test sets. We introduce Prism, a flexible, dynamic benchmarking framework designed for comprehensive LLM assessment. Prism builds on three key components: (1) a tree-based state representation that models evaluation as a Markov Decision Process, (2) a Monte Carlo Tree Search algorithm adapted to uncover challenging evaluation scenarios, and (3) a multi-agent evaluation pipeline that enables simultaneous assessment of diverse capabilities. To ensure robust evaluation, Prism integrates structural measurements of tree exploration patterns with performance metrics across difficulty levels, providing detailed diagnostics of error patterns, test coverage, and solution approaches. Through extensive experiments on five state-of-the-art LLMs, we analyze how model architecture and scale influence code generation performance across varying task difficulties. Our results demonstrate Prism's effectiveness as a dynamic benchmark that evolves with model advancements while offering deeper insights into their limitations.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩は、従来の評価手法よりも優れている。 静的ベンチマークはLLMの機能の深さと幅を捉えず、最終的には時代遅れになるが、ほとんどの動的アプローチはLLMに基づく評価に過度に依存するか、事前定義されたテストセットに制約されるかのいずれかである。 包括的LLM評価のために設計されたフレキシブルで動的なベンチマークフレームワークであるPrismを紹介する。 Prismは,(1)マルコフ決定過程として評価をモデル化した木に基づく状態表現,(2)困難な評価シナリオを明らかにするために適応したモンテカルロ木探索アルゴリズム,(3)多様な能力の同時評価を可能にするマルチエージェント評価パイプラインである。 堅牢な評価を保証するため、Prismは、木の探索パターンの構造測定と、難易度を越えたパフォーマンス指標を統合し、エラーパターン、テストカバレッジ、ソリューションアプローチの詳細な診断を提供する。 現状の5つのLLMに関する広範な実験を通じて、モデルアーキテクチャとスケールがタスクの難易度にまたがるコード生成性能にどのように影響するかを分析した。 以上の結果から,Prismはモデルの発展とともに進化し,その限界に対する深い洞察を提供しながら,動的ベンチマークとしての有効性を示す。

関連論文リスト

• MCTS-Judge: Test-Time Scaling in LLM-as-a-Judge for Code Correctness Evaluation [17.432401371613903]
  本稿では,コード正確性評価のための資源効率の高いシステム2思考フレームワークを提案する。 MCTS-Judgeはモンテカルロ木探索を用いて問題を単純かつ多視点的な評価に分解する。 高精度で単体テストレベルの報酬メカニズムは、大規模言語モデルにライン・バイ・ライン分析の実行を促す。
  論文  参考訳（メタデータ） (2025-02-18T02:55:48Z)
• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• UltraEval: A Lightweight Platform for Flexible and Comprehensive Evaluation for LLMs [74.1976921342982]
  本稿では,ユーザフレンドリな評価フレームワークであるUltraEvalを紹介し,その軽量性,包括性,モジュール性,効率性を特徴とする。 その結果のコンポーザビリティにより、統一された評価ワークフロー内で、さまざまなモデル、タスク、プロンプト、ベンチマーク、メトリクスを自由に組み合わせることができる。
  論文  参考訳（メタデータ） (2024-04-11T09:17:12Z)
• Towards a Robust Retrieval-Based Summarization System [11.747998334533776]
  本稿では,大規模言語モデル(LLM)のRAGに基づく要約タスクに対する堅牢性について検討する。 最初のコントリビューションはLogicSummで、現実的なシナリオを取り入れた革新的な評価フレームワークです。 LogiSummによって特定された制限に基づいて、トレーニング対話を作成し、堅牢性を高めるためのモデルを微調整する包括的システム SummRAG を開発した。
  論文  参考訳（メタデータ） (2024-03-29T00:14:46Z)
• Dynamic Evaluation of Large Language Models by Meta Probing Agents [44.20074234421295]
  大規模言語モデル(LLM)を評価するためのメタ・プロブリング・エージェント(MPA)を提案する。 MPAはDyVal 2の重要なコンポーネントであり、DyValcitepzhu2023dyvalを自然に拡張している。 MPAは、探索および判定エージェントを設計し、元の評価問題を心理測定理論に従って新しいものに自動的に変換する。
  論文  参考訳（メタデータ） (2024-02-21T06:46:34Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)
• AQA-Bench: An Interactive Benchmark for Evaluating LLMs' Sequential Reasoning Ability [29.1826948551409]
  AQA-Benchは、大規模言語モデルの逐次推論能力を評価するための新しいベンチマークである。 AQA-Benchは,2進探索,深さ優先探索,幅優先探索という3つのアルゴリズムで構築されている。 我々の調査では興味深い発見がいくつか示されている。
  論文  参考訳（メタデータ） (2024-02-14T18:59:33Z)
• DRDT: Dynamic Reflection with Divergent Thinking for LLM-based Sequential Recommendation [53.62727171363384]
  進化的思考を伴う動的反射(Dynamic Reflection with Divergent Thinking)という新しい推論原理を導入する。 我々の方法論はダイナミックリフレクション(動的リフレクション)であり、探索、批評、反射を通じて人間の学習をエミュレートするプロセスである。 6つの事前学習 LLM を用いた3つのデータセットに対するアプローチの評価を行った。
  論文  参考訳（メタデータ） (2023-12-18T16:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。