論文の概要: MechBench: A Domain-Specific LLM Benchmark for Parallel Mechanisms
- arxiv url: http://arxiv.org/abs/2611.15342v1
- Date: Wed, 11 Nov 2026 11:20:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.111859
- Title: MechBench: A Domain-Specific LLM Benchmark for Parallel Mechanisms
- Title(参考訳): MechBench: 並列メカニズムのためのドメイン特有なLLMベンチマーク
- Abstract要約: 本稿では,大規模言語モデル(LLM)を並列メカニズムで評価するためのベンチマークであるMECHBENCHを紹介する。
MECHBENCHには6つの機能カテゴリと9つの実行可能な分析と設計タスクにまたがる標準レベルと課題レベルが含まれている。
- 参考スコア(独自算出の注目度): 14.323878579355108
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parallel mechanisms pose distinctive challenges to large language models (LLMs), as valid reasoning depends jointly on mechanism topology, loop closure, geometry, joint types, and modeling assumptions. Yet existing LLM benchmarks provide little systematic coverage of such domain-specific knowledge, constraint-sensitive analysis, and constructive design. To fill this gap, we introduce MECHBENCH, a 2,541-question benchmark for evaluating LLMs in parallel mechanisms across professional knowledge, mechanism analysis, and design. MECHBENCH contains standard and challenge tiers spanning six capability categories and nine executable analysis and design tasks. It is constructed through MECHFORGE, a domain-grounded framework that combines expert-organized knowledge, LLM-assisted question generation, programmatic instance generation, two-stage expert review, and task-aware scoring with exact matching, rubric-based evaluation, and program verification. We further develop MECHGPT as a diagnostic domain-adapted model. Experiments show that strong knowledge performance does not directly translate into executable mechanism reasoning: leading closed-service models achieve over 95 on the standard tier but only 47-60 on the challenge tier, while domain adaptation substantially improves MechGPT over its Qwen3-8B baselines but leaves a large gap in constrained analysis and design. These results establish MECHBENCH as a systematic testbed for measuring domain-specific LLM capabilities in mechanism science.
- Abstract(参考訳): 並列メカニズムは、メカニズムトポロジ、ループ閉鎖、幾何学、関節型、モデリング仮定に共同で依存するため、大きな言語モデル(LLM)に固有の課題をもたらす。
しかし、既存のLLMベンチマークは、そのようなドメイン固有の知識、制約に敏感な分析、建設設計の体系的なカバレッジをほとんど提供していない。
このギャップを埋めるために、専門家の知識、メカニズム分析、設計にまたがる並列機構におけるLLMを評価するための2,541クエストベンチマークであるMECHBENCHを紹介する。
MECHBENCHには6つの機能カテゴリと9つの実行可能な分析と設計タスクにまたがる標準レベルと課題レベルが含まれている。
MECHFORGEは、専門家による知識、LLM支援質問生成、プログラムインスタンス生成、二段階の専門家レビュー、タスク認識スコアと正確なマッチング、ルーリックベースの評価、プログラム検証を組み合わせたドメインベースフレームワークである。
さらに,診断領域適応モデルとしてMECHGPTを開発した。
主要なクローズドサービスモデルは標準層で95以上を達成するが、チャレンジ層では47-60に過ぎず、ドメイン適応はQwen3-8BベースラインでMechGPTを大幅に改善するが、制約付き分析と設計では大きなギャップを残している。
これらの結果は、機構科学におけるドメイン固有のLLM機能を測定するための体系的なテストベッドとしてMECHBENCHを確立している。
関連論文リスト
- Architecting Fairness-Aware LLM Interactions [51.57632434522671]
大規模言語モデル(LLM)は、意思決定支援ツールとして使われることが多いが、ステレオタイプ、差別、不公平な応答を生成する可能性がある。
本稿では,3つの再利用可能な設計パターンを基盤としたフェアネス保証アーキテクチャを提案する。
論文 参考訳(メタデータ) (2026-10-31T07:59:01Z) - AgentFixer: From Failure Detection to Fix Recommendations in LLM Agentic Systems [7.429835301272413]
フレームワークには15の障害検出ツールと2つの根本原因分析モジュールが含まれている。
軽量なルールベースのチェックとLDM-as-a-judgeアセスメントを統合し、構造化インシデント検出、分類、修復をサポートする。
我々は、このフレームワークをIBM CUGAに適用し、AppWorldとWebArenaベンチマークのパフォーマンスを評価した。
論文 参考訳(メタデータ) (2026-02-18T14:55:35Z) - Understanding Multi-Agent LLM Frameworks: A Unified Benchmark and Experimental Analysis [2.903627214446312]
本稿では,マルチエージェント LLM フレームワークを基本次元に沿って体系的に比較するためのアーキテクチャ分類法を提案する。
我々は,既存のベンチマークを標準化された実行パイプラインの下で統合する統合評価スイートを開発した。
以上の結果から,フレームワークレベルの設計選択だけでレイテンシが100倍以上向上し,計画精度が最大30%向上し,調整成功率が90%以上から30%以下に低下する可能性が示唆された。
論文 参考訳(メタデータ) (2026-02-03T05:37:56Z) - Beyond Basic Specifications? A Systematic Study of Logical Constructs in LLM-based Specification Generation [29.231420590756954]
プログラム仕様の自動生成のための大規模言語モデル(LLM)は、検証効率を向上させるための有望な道として登場した。
既存の LLM 仕様生成フレームワークに論理構造を組み込むことを提案する。
我々は,様々な種類の構文構造が仕様生成フレームワークに与える影響について,実証的研究を行った。
論文 参考訳(メタデータ) (2026-01-31T13:19:40Z) - Graft: Integrating the Domain Knowledge via Efficient Parameter Synergy for MLLMs [56.76586846269894]
MLLM(Multimodal Large Language Models)は、様々な領域で成功している。
その重要性にもかかわらず、ドメイン固有のMLLM間の知識共有の研究はほとんど未調査のままである。
専門家機能のモジュール構成を可能にする統一パラメータ統合フレームワークを提案する。
論文 参考訳(メタデータ) (2025-06-30T15:07:41Z) - Aligning MLLM Benchmark With Human Preferences via Structural Equation Modeling [17.092510377905814]
マルチモーダルな大規模言語モデル (MLLM) の評価は、構造化され、解釈可能で、理論的に基礎付けられたベンチマーク設計の欠如により、依然として根本的な課題である。
本研究では、内部の妥当性、次元分離性、およびベンチマークコンポーネントの寄与を分析するために、構造方程式モデリング(SEM)に基づくMLLMベンチマークの整合性を示す新しいフレームワークを提案する。
実験結果から,提案ベンチマークは,従来の手法に比べて高い解釈可能性,指標冗長性の低減,認知的整合性の明確化を示すことが示された。
論文 参考訳(メタデータ) (2025-06-13T08:04:56Z) - Computational Reasoning of Large Language Models [51.629694188014064]
textbfTuring Machine Benchは,Large Language Models(LLM)による推論プロセスの実行能力を評価するベンチマークである。
TMBenchには、自己完結型および知識に依存しない推論、最小主義的な多段階構造、制御可能な難易度、チューリングマシンに基づく理論的基礎の4つの重要な特徴が組み込まれている。
論文 参考訳(メタデータ) (2025-04-29T13:52:47Z) - BLADE: Benchmark suite for LLM-driven Automated Design and Evolution of iterative optimisation heuristics [2.2485774453793037]
BLADEは、連続的なブラックボックス最適化コンテキストにおいてLLM駆動のAADメソッドをベンチマークするためのフレームワークである。
ベンチマーク問題とインスタンスジェネレータ、特殊化や情報エクスプロイトといった機能重視のテストを目的としたテキスト記述を統合する。
BLADEは、LCM駆動のAADアプローチを体系的に評価する、アウト・オブ・ザ・ボックスのソリューションを提供する。
論文 参考訳(メタデータ) (2025-04-28T18:34:09Z) - A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。
大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。
我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
論文 参考訳(メタデータ) (2025-04-12T01:27:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。