論文の概要: WuYuEval: A Multi-Level Benchmark for Large Language Models in Solid Waste Management

• arxiv url: http://arxiv.org/abs/2608.07529v1
• Date: Fri, 24 Jul 2026 09:23:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 01:32:04.549253
• Title: WuYuEval: A Multi-Level Benchmark for Large Language Models in Solid Waste Management
• Title（参考訳）: WuYuEval: 廃棄物処理における大規模言語モデルのマルチレベルベンチマーク
• Abstract要約: 大規模言語モデル (LLM) は技術アシスタントとしてますます使われているが, ソリッド廃棄物管理 (SWM) の能力は評価が難しいままである。 WuYuEvalは、基礎知識、ドメイン推論、専門家による意思決定にまたがるSWMのLLMを評価するためのベンチマークである。
• 参考スコア（独自算出の注目度）: 4.418914815278852
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used as technical assistants, but their competence in solid waste management (SWM) remains difficult to assess because existing benchmarks emphasize general knowledge rather than professional decisions under engineering, environmental, and policy constraints. We introduce WuYuEval, a multi-level benchmark for evaluating LLMs in SWM across foundational knowledge, domain reasoning, and expert decision-making. After quality auditing, WuYuEval contains a Foundation Module with 4,590 closed-ended multiple-choice questions across six task types and eight domain categories, together with an Expert Module with 247 scenario-based open-ended questions involving multi-objective optimization, constraint trade-offs, and system design. For expert tasks, we combine anchor-calibrated LLM-as-a-Judge scoring with Elo-based pairwise comparison. Across 33 LLMs, performance varied widely. The leading model reached 94.64\% accuracy on the Foundation Module, but average accuracy still fell from 84.14\% on easy questions to 42.50\% on hard questions, with lower performance concentrated in calculation, experimental design, urban planning, and open-ended expert tasks. Reasoning-oriented Thinking modes improve most matched model pairs after auditing, but the gains depend on baseline capability and are not uniformly positive. These results suggest that visible deliberation helps only when it remains anchored to units, assumptions, and engineering constraints; otherwise, it may drift from decisive answer boundaries. WuYuEval therefore provides both an evaluation resource and an empirical basis for developing SWM-oriented foundation models with professional reasoning chains and explicit constraint control.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 技術アシスタントとしての利用が増えているが, 既存のベンチマークでは, 工学, 環境, 政策制約下での判断よりも, 一般知識を重視しているため, ソリッド廃棄物管理 (SWM) の能力を評価することは困難である。 We introduced WuYuEval, a multi-level benchmark for SWM in LLMs across foundational knowledge, domain reasoning, and expert decision-making。 品質監査の後、WuYuEvalには、6つのタスクタイプと8つのドメインカテゴリで4,590のクローズドエンドの多重選択質問を備えたファンデーションモジュールと、多目的最適化、制約トレードオフ、システム設計を含む247のシナリオベースのオープンエンド質問を備えたエキスパートモジュールが含まれている。 専門的なタスクでは、アンカー校正されたLLM-as-a-JudgeスコアとEloに基づくペアワイズ比較を組み合わせる。 33両のLLMで、性能は様々であった。 主モデルの精度はファウンデーション・モジュールで94.64\%に達したが、平均精度は簡単な質問では84.14\%から42.50\%に低下し、計算、実験設計、都市計画、開放的な専門家のタスクに集中した。 推論指向の思考モードは、監査後にほとんどの一致したモデルペアを改善するが、利得はベースライン能力に依存し、一様正ではない。 これらの結果は、可視的熟考は、それが単体、仮定、工学的制約に固定されたままである場合にのみ有効であり、そうでなければ決定的な答え境界から逸脱する可能性があることを示唆している。 したがって、WuYuEvalは、専門家の推論チェーンと明示的な制約制御を備えたSWM指向の基礎モデルを開発するための評価リソースと経験的基盤の両方を提供する。

関連論文リスト

• Simplicity Paradox: Debunking myths about prompting and datasets for LLM evaluation [2.221515121005437]
  いくつかの研究は、より洗練されたプロンプト技術でより良い性能を主張するが、包括的な評価は提供していない。 このギャップは、MCQA(Multiple-choice Question answering)データセット10個にまたがる8つのプロンプト技術に関する総合的な実証研究を通じて解決される。 以上の結果から,様々なベンチマークにおいて,ベースラインが複雑な推論手法を一貫して上回るという顕著なパラドックスが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-07T21:11:51Z)
• Training LLMs for Divide-and-Conquer Reasoning Elevates Test-Time Scalability [129.1296673737603]
  大規模言語モデル(LLM)は、ステップ・バイ・ステップ・チェーン・オブ・シークレット(CoT)推論を通じて強力な推論能力を示している。 潜在的には、解のより効率的な探索を容易にするために複雑な問題をサブプロブレムに分解するDAC推論がある。 本稿では,DAC型推論能力を高めるために,エンドツーエンド強化学習(RL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-02T18:54:54Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• OmniEduBench: A Comprehensive Chinese Benchmark for Evaluating Large Language Models in Education [72.40048732210055]
  中国の総合的な教育ベンチマークであるOmniEduBenchを紹介する。 データは、知識次元と栽培次元の2つの中核次元に分けられる。 データセットには、11の一般的な試験質問タイプを含む、さまざまな質問形式がある。
  論文  参考訳（メタデータ） (2025-10-30T12:16:29Z)
• MDK12-Bench: A Comprehensive Evaluation of Multimodal Large Language Models on Multidisciplinary Exams [50.293164501645975]
  MLLM(Multimodal large language model)は、言語と視覚を統合して問題解決を行う。 MLLMのインテリジェンスを測定するための現在のベンチマークは、限られた規模、狭い範囲、構造化されていない知識に悩まされている。 MDK12-Benchは、6つの分野にまたがる実世界のK-12試験から構築された大規模マルチディシプリナベンチマークである。
  論文  参考訳（メタデータ） (2025-08-09T06:21:10Z)
• R-Bench: Graduate-level Multi-disciplinary Benchmarks for LLM & MLLM Complex Reasoning Evaluation [75.33671166231096]
  我々は、Reasoning Bench(R-Bench)と呼ばれる、大学院レベルの多学派、英語の中国語ベンチマークを導入する。 RBenchは108の被験者に1,094の質問を、83の被験者に665の質問を、マルチモーダルなモデルテストに当てはめている。 我々は,OpenAI o1,GPT-4o,DeepSeek-R1など,広く使用されているモデルを評価した。
  論文  参考訳（メタデータ） (2025-05-04T07:48:36Z)
• Can AI Master Construction Management (CM)? Benchmarking State-of-the-Art Large Language Models on CM Certification Exams [2.897171041611256]
  CMExamSetは,全国認定の4つのCM認定試験から689の質問を正解したベンチマークデータセットである。 その結果、GPT-4o と Claude 3.7 は、平均精度が82%、Claude 3.7 が83%である。 概念的誤解は最も一般的なものであり、拡張されたドメイン固有の推論モデルの必要性を暗示している。
  論文  参考訳（メタデータ） (2025-04-04T18:13:45Z)
• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)の評価には,MCQA(Multiple-Choice Question Answering)が広く用いられている。 報告されたLCMの性能には,複数の要因が大きな影響を及ぼす可能性が示唆された。 既存の回答抽出手法が人間の判断と一致しているかどうかを解析する。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• LR^2Bench: Evaluating Long-chain Reflective Reasoning Capabilities of Large Language Models via Constraint Satisfaction Problems [7.379503137362718]
  LR$2$Benchは,Long-chain Reflective Reasoning機能を評価するために設計された新しいベンチマークである。 評価の結果,DeepSeek-R1 や OpenAI o1-preview のような先進的な LRM でさえ,LR$2$Bench のタスクと競合することが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-25T04:51:17Z)
• One for All: A General Framework of LLMs-based Multi-Criteria Decision Making on Human Expert Level [7.755152930120769]
  本稿では,一般の複雑なMCDM問題に自動的に対処する評価フレームワークを提案する。 フレームワーク内では、ClaudeやChatGPTといった商用モデルと同様に、様々な典型的なオープンソースモデルの性能を評価する。 実験の結果,異なるアプリケーションの精度は95%程度に向上し,異なるモデル間の性能差は自明であることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T06:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。