論文の概要: Evaluation of Small Vision-Language Models on Qualitative Mechanical Problems

• arxiv url: http://arxiv.org/abs/2608.22143v1
• Date: Sun, 23 Aug 2026 00:10:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.636089
• Title: Evaluation of Small Vision-Language Models on Qualitative Mechanical Problems
• Title（参考訳）: 定性的機械的問題に対する最小視線モデルの評価
• Abstract要約: メカニカル・イシュー・イメージの解釈能力に基づいて,2つの最先端マルチモーダル・モデル,Gemma-3とQwen-VLを評価した。 各画像は本質的に、歯車の接触点、支持関係、相対重みなどの地道的定性的事実を符号化する。 我々は,各モデルの思考過程を評価するために,各チェーンのコヒーレンス,完全性,論理的進行を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Qualitative mechanical problem-solving (QMPS) refers to solving qualitative problems from the mechanical domain. Qualitative problems can be solved with minimal discipline-specific information, without any robust quantitative calculation, generally by using qualitative reasoning and commonsense knowledge. QMPS is a vital aspect of human intelligence that allows us to tackle a wide range of tasks, from simple everyday ones such as turning on a tap to complex tasks in highly demanding and well-paying jobs in various fields, e.g., emergency medicine, plumbing, driving, etc. Employers often use the Bennett Mechanical Comprehension Test (BMCT) to evaluate job candidates' ability to solve such problems. In this work, we assess two state-of-the-art multimodal models, Gemma-3 and Qwen-VL, on their ability to interpret mechanical problem images by eliciting a step-by-step chain of thought (CoT) and a final answer. Each image inherently encodes ground-truth qualitative facts, such as contact points in gears, support relations, and relative weights, which we use to evaluate each model's spatial and commonsense reasoning capabilities. We assess each chain for coherence, completeness, and logical progression to assess each model's thought process, and final answers are compared to verified solutions to measure accuracy.
• Abstract（参考訳）: 定性的機械的問題解決(QMPS)とは、機械的領域から定性的な問題を解くことを指す。 質的な問題は、質的な推論とコモンセンス知識を用いて、堅牢な定量的計算をすることなく、最小限の規律固有の情報で解決することができる。 QMPSは人間の知性の重要な側面であり、タップオンから複雑なタスクまで、様々な分野、例えば救急医療、配管工事、運転など、幅広いタスクをこなすことができます。 従業員は、求職者のそのような問題を解決する能力を評価するために、ベネット・メカニカル・包括テスト(BMCT)を使うことが多い。 本研究では,2つの最先端マルチモーダルモデル Gemma-3 と Qwen-VL を,ステップ・バイ・ステップ・オブ・シンキング (CoT) と最終解を求めることで,機械的問題画像の解釈能力に基づいて評価する。 各画像は、歯車における接触点、支持関係、相対重みなどの地中的定性的事実を本質的に符号化し、各モデルの空間的および常識的推論能力を評価する。 我々は,各モデルの思考過程を評価するために,各チェーンのコヒーレンス,完全性,論理的進行を評価する。

関連論文リスト

• EngiAgent: Fully Connected Coordination of LLM Agents for Solving Open-ended Engineering Problems with Feasible Solutions [23.690537356885958]
  工学的な問題解決には、オープンな分析、実現可能性駆動モデリング、反復的な洗練が必要である。 大規模言語モデル(LLM)は推論やコード生成において強力な能力を示しているが、実現不可能な場合が多い。 完全に接続されたリフレクションコーディネータを備えたマルチエージェントシステムであるEngiAgentを提案する。
  論文  参考訳（メタデータ） (2026-05-04T07:26:12Z)
• What Do LLM Agents Know About Their World? Task2Quiz: A Paradigm for Studying Environment Understanding [50.35012849818872]
  大規模言語モデル(LLM)エージェントは、複雑な意思決定やツール使用タスクにおいて顕著な能力を示した。 本研究では,タスク実行と世界状態理解の分離を目的とした決定論的かつ自動評価パラダイムであるTask-to-Quiz(T2Q)を提案する。 実験の結果,タスク成功は環境理解の指標として不十分な場合が多く,現在の記憶機構はエージェントが環境の基底モデルを取得するのに有効ではないことが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-14T14:09:11Z)
• Studying and Automating Issue Resolution for Software Quality [1.7767466724342065]
  本研究は3つの相補的な方向を通して課題に取り組むことを目的とする。 まず, LLM推論とアプリケーション固有の情報を活用する手法を提案することにより, 報告品質の向上を図る。 第2に、従来のAI拡張システムとAI拡張システムの両方において、開発者を経験的に特徴づけます。 第3に、バギーUIのローカライゼーションやソリューション識別など、認知的要求の解決タスクを自動化する。
  論文  参考訳（メタデータ） (2025-12-11T02:44:40Z)
• Q-Mirror: Unlocking the Multi-Modal Potential of Scientific Text-Only QA Pairs [60.0988889107102]
  テキストオンリーQAペア(TQA)を高品質マルチモーダルQAペア(MMQA)に変換する可能性を探る。 我々は、TQA-to-MMQAフレームワークを開発し、変換の原則を提供する包括的で多次元のMMQA品質を確立する。 我々は,MMQA生成と評価を反復精製のためのクローズドループに統合することにより,我々のフレームワークを運用するエージェントシステム(Q-Mirror)を開発した。
  論文  参考訳（メタデータ） (2025-09-29T05:22:10Z)
• Evaluation of OpenAI o1: Opportunities and Challenges of AGI [100.85218639544654]
  o1-previewは目覚ましい能力を示し、しばしば人間レベルまたは優れたパフォーマンスを実現した。 このモデルは、様々な分野にわたる複雑な推論と知識の統合を必要とするタスクに優れていた。 総合的な結果は、人工知能への大きな進歩を示している。
  論文  参考訳（メタデータ） (2024-09-27T06:57:00Z)
• Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
  Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。 Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。 コントリビューションの中心は、QGround-100Kデータセットの導入です。
  論文  参考訳（メタデータ） (2024-07-24T06:42:46Z)
• An Automatic Question Usability Evaluation Toolkit [1.2499537119440245]
  多重選択質問(MCQ)を評価するには、労働集約的な人的評価か、可読性を優先する自動化方法のいずれかが必要となる。 MCQの総合的かつ自動化された品質評価のために,IWFルーブリックを利用したオープンソースツールであるSAQUETを紹介する。 94%以上の精度で,既存の評価手法の限界を強調し,教育評価の質向上の可能性を示した。
  論文  参考訳（メタデータ） (2024-05-30T23:04:53Z)
• MacGyver: Are Large Language Models Creative Problem Solvers? [87.70522322728581]
  本稿では, 現代LLMの創造的問題解決能力について, 制約付き環境下で検討する。 我々は1,600以上の実世界の問題からなる自動生成データセットであるMACGYVERを作成する。 我々はLLMと人間の両方にコレクションを提示し、それらの問題解決能力を比較して比較する。
  論文  参考訳（メタデータ） (2023-11-16T08:52:27Z)
• MechAgents: Large language model multi-agent collaborations can solve mechanics problems, generate new data, and integrate knowledge [0.6708125191843434]
  ここでは、自律的なコラボレーションを通じて、弾力性に関する問題を実証する。 2エージェントチームは、古典的な弾性問題を解くために有限要素法を適用するために、効果的にコードを書き、実行し、自己修正することができる。 より複雑なタスクのために、我々は計画、定式化、コーディング、実行、プロセスと結果を批判する作業の分割を強化したより大きなエージェントグループを構築します。
  論文  参考訳（メタデータ） (2023-11-14T13:49:03Z)
• QADYNAMICS: Training Dynamics-Driven Synthetic QA Diagnostic for Zero-Shot Commonsense Question Answering [48.25449258017601]
  State-of-the-artはCommonSense Knowledge Basesから構築されたQAペア上での微調整言語モデルにアプローチする。 本稿では,QA診断と改善のためのトレーニング動的フレームワークQADYNAMICSを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:27:34Z)
• Automated Distractor and Feedback Generation for Math Multiple-choice Questions via In-context Learning [43.83422798569986]
  マルチチョイス質問(MCQ)は、管理しやすく、格付けし、信頼性の高い評価形式であるため、ほぼ全てのレベルの教育においてユビキタスである。 これまで、高品質なイントラクタを作るというタスクは、教師やコンテンツデザイナーを学ぶための労働集約的なプロセスのままだった。 本稿では,テキスト内学習をベースとした簡易な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-07T01:03:04Z)
• Solving Quantitative Reasoning Problems with Language Models [53.53969870599973]
  我々は、一般的な自然言語データに基づいて事前訓練された大規模言語モデルであるMinervaを紹介し、さらに技術的な内容について訓練する。 このモデルは、外部ツールを使わずに、技術的ベンチマークで最先端のパフォーマンスを達成する。 我々はまた、物理学、生物学、化学、経済学、その他の科学における200以上の学部レベルの問題に対して、我々のモデルを評価した。
  論文  参考訳（メタデータ） (2022-06-29T18:54:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。