論文の概要: EngIntervene: Benchmarking Multimodal Engineering State Understanding and Design Intervention Reasoning
- arxiv url: http://arxiv.org/abs/2609.33261v1
- Date: Sun, 27 Sep 2026 06:07:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 01:46:32.488618
- Title: EngIntervene: Benchmarking Multimodal Engineering State Understanding and Design Intervention Reasoning
- Title（参考訳）: EngIntervene: マルチモーダルエンジニアリング状態理解と設計介入推論のベンチマーク
- Abstract要約: textscEngInterveneには7つのエンジニアリングドメインにわたる3,229の質問が含まれている。
評価は、状態接地(T1)、関係性および機械的推論(T2)、制約認識診断(T3)、介入推論(T4)の4つのレベルに分けられる。
オープン・アンド・クローズド・ウェイト・マルチモーダルモデル全体では、より強力なグラウンド化は、より良い診断や介入に確実に変換されない。
- 参考スコア（独自算出の注目度）: 22.634566672389624
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal engineering benchmarks largely evaluate static understanding, such as recognizing components, interpreting diagrams, or answering technical questions. This leaves a missing middle between engineering perception and full design generation: whether a model can use an understood system state to reason about relations, constraints, and the consequences of design changes. We introduce \textsc{EngIntervene}, a benchmark for this capability. It contains 3,229 questions across seven engineering domains and organizes evaluation into four levels: state grounding (T1), relational and mechanistic reasoning (T2), constraint-aware diagnosis (T3), and intervention reasoning (T4), which asks whether a proposed modification achieves its target while preserving required constraints. The tasks instantiate a unified engineering state representation spanning objects, relations, constraints, and design objectives, and T2--T4 are scored against structured reference answers with atomic criteria. Across open- and closed-weight multimodal models, stronger grounding does not reliably translate into better diagnosis or intervention, and the best open-weight model trails the best closed model by 14.7 percentage points on the T2--T4 average. Removing or shuffling visual evidence consistently degrades performance, while benchmark-specific supervised fine-tuning improves T1 but not T2--T4. T4 further exposes a large gap between satisfying individual revision criteria and producing a fully valid intervention. Engineering reasoning thus requires not only recovering the current state, but also reliably using it to reason about constraints and post-intervention consequences. Code and benchmark artifacts are available at https://github.com/changcv2021/EngIntervene
- Abstract（参考訳）: マルチモーダルエンジニアリングベンチマークは、コンポーネントの認識、図の解釈、技術的な疑問への回答など、静的な理解を概ね評価している。
モデルが理解されたシステム状態を使用して、関係性、制約、そして設計変更の結果を推論できるかどうか。
この機能のベンチマークである \textsc{EngIntervene} を紹介します。
これには7つのエンジニアリング領域にわたる3,229の質問が含まれており、状態基底(T1)、リレーショナルおよびメカニスティック推論(T2)、制約認識診断(T3)、介入推論(T4)の4つのレベルに評価をまとめている。
タスクは、オブジェクト、関係、制約、設計目的にまたがる統一されたエンジニアリング状態表現をインスタンス化し、T2-T4は、原子基準による構造化された参照回答に対してスコアされる。
オープン・アンド・クローズド・ウェイト・マルチモーダル・モデル全体では、より強力なグラウンド化はより良い診断や介入に確実に変換されず、最高のオープン・ウェイト・モデルはT2-T4平均の14.7%の最適クローズド・モデルを追い越す。
視覚的エビデンスを取り除いたりシャッフルしたりすることは、パフォーマンスを継続的に低下させるが、ベンチマーク固有の微調整はT1を改善するが、T2--T4は改善しない。
さらにT4は、個々のリビジョン基準を満たすことと、完全に有効な介入を生み出すことの間の大きなギャップを露呈する。
したがって、エンジニアリング推論は現在の状態を回復するだけでなく、制約や事後結果の推論に確実に使用する必要があります。
コードとベンチマークアーティファクトはhttps://github.com/changcv2021/EngInterveneで入手できる。
関連論文リスト
- Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。
まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。
第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
論文 参考訳（メタデータ） (2026-08-11T18:48:40Z) - Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist [69.81453995715673]
既存の忠実度ベンチマークは単純な原子命令に依存している。
本稿では,実アリーナT2Iログから抽出した310プロンプトの応力ベンチマークであるArena-T2I Hardを紹介する。
本稿では,各プロンプトをイエス/ノー質問のDAGに分解し,失敗する両親の子孫をゼロにする依存性対応チェックリスト報酬を提案する。
論文 参考訳（メタデータ） (2026-06-30T14:17:05Z) - TriAdReview: Triangular Adversarial Review Architecture for Multi-Model Technical Document Generation [4.131782714245991]
TriAdReviewは2つの独立したレビュアーモデルを採用している三角形の逆レビューアーキテクチャである。
3つの構成を用いて5つのベンチマークタスクのTriAdReviewを評価する。
論文 参考訳（メタデータ） (2026-06-13T03:03:21Z) - From BERT to T5: A Study of Named Entity Recognition [0.0]
本報告は,2つの事前学習モデルの微調整におけるNERタスクの実装に焦点をあてる。
BERTはトレーニング損失に対する重み付きクロスエントロピーとして適用され、T5は2つの検証戦略で微調整される。
関連する分析は、BERTの共通エラーと2つのモデルのパフォーマンスに関する貴重な洞察を提供する。
論文 参考訳（メタデータ） (2026-05-18T14:23:35Z) - BRITE: A Benchmark for Reliable and Interpretable T2V Evaluation on Implausible Scenarios [4.853153612241331]
既存のベンチマークは、ほとんど見過ごせないシナリオであり、オーディオと視覚のアライメントを計測しない。
本稿では,BRITEについて紹介する。BRITEは難解なプロンプトを統一する最初のフレームワークで,音声・視覚的一貫性のきめ細かい評価,QAに基づく解釈可能な評価を行う。
論文 参考訳（メタデータ） (2026-04-24T21:34:52Z) - Synthetic Tabular Generators Fail to Preserve Behavioral Fraud Patterns: A Benchmark on Temporal, Velocity, and Multi-Account Signals [0.0]
本研究では,4つの行動不正パターン(P1-P4)の分類法を定式化し,事象間タイミング,バースト構造,マルチアカウントグラフモチーフ,速度ルールトリガ率について検討した。
我々は、IEEE-CIS Fraud DetectionとAmazon FraudデータセットでCTGAN、TVAE、GaussianCopula、TabularARGNをベンチマークした。
P1-P4フレームワークは、医療やネットワークセキュリティを含む、エンティティレベルのシーケンシャルデータを持つ任意のドメインに拡張する。
論文 参考訳（メタデータ） (2026-04-13T19:36:00Z) - On the Role of Reasoning Patterns in the Generalization Discrepancy of Long Chain-of-Thought Supervised Fine-Tuning [63.41902113656453]
長いチェーン・オブ・ソート(CoT)軌道上でのSFT(Supervised Fine-Tuning)は、大きな推論モデルを構築する上で重要なフェーズとなっている。
2つの競合モデルによって生成された2つの検証されたCoT軌道源を用いて比較研究を行う。
textttDeepSeek-R1-0528データ上のSFTは、トレーニング損失を著しく低減するが、一般化性能は著しく低下する。
論文 参考訳（メタデータ） (2026-04-02T07:00:54Z) - Compressed Causal Reasoning: Quantization and GraphRAG Effects on Interventional and Counterfactual Accuracy [0.0]
本研究は, パールズ・コーサル・ラダーの全3レベルにわたる定量化効果を系統的に評価した。
Llama 3 8Bのラングレベルの精度は、量子化下では広く安定であり、NF4は全体の1%未満の劣化を示した。
CRASSベンチマークの実験では、既存のコモンセンスの反事実データセットには、量子化による推論ドリフトを明らかにするのに必要な構造感度が欠如していることが示されている。
論文 参考訳（メタデータ） (2025-12-13T17:54:15Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models [48.361839372110246]
本研究では,制約拡張,競合検出,命令書き換えを行う自動命令生成パイプラインを開発する。
我々は、19の大規模言語モデルを評価し、制約形式間の性能のかなりの変動を明らかにする。
詳細な分析では、これらの利得は主にモデルのアテンションモジュールパラメータの変更に起因していることを示している。
論文 参考訳（メタデータ） (2025-05-12T14:16:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。