論文の概要: Butter-Bench: Evaluating LLM Controlled Robots for Practical Intelligence

• arxiv url: http://arxiv.org/abs/2510.21860v1
• Date: Thu, 23 Oct 2025 07:28:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 17:41:21.918868
• Title: Butter-Bench: Evaluating LLM Controlled Robots for Practical Intelligence
• Title（参考訳）: Butter-Bench: LLM制御ロボットの実用知能評価
• Authors: Callum Sharrock, Lukas Petersson, Hanna Petersson, Axel Backlund, Axel Wennström, Kristoffer Nordström, Elias Aronsson,
• Abstract要約: 本稿では,大規模言語モデル(LLM)制御ロボットの実用的な知能評価のためのベンチマークであるButter-Benchを提案する。 最高のLDMはバターベンチで40%、平均的な人間のスコアは95%である。 また,具体的推論のために微調整されたLSMを評価し,このトレーニングはバター・ベンチのスコアを改善できないと結論付けた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Butter-Bench, a benchmark evaluating large language model (LLM) controlled robots for practical intelligence, defined as the ability to navigate the messiness of the physical world. Current state-of-the-art robotic systems use a hierarchical architecture with LLMs in charge of high-level reasoning, and a Vision Language Action (VLA) model for low-level control. Butter-Bench evaluates the LLM part in isolation from the VLA. Although LLMs have repeatedly surpassed humans in evaluations requiring analytical intelligence, we find humans still outperform LLMs on Butter-Bench. The best LLMs score 40% on Butter-Bench, while the mean human score is 95%. LLMs struggled the most with multi-step spatial planning and social understanding. We also evaluate LLMs that are fine-tuned for embodied reasoning and conclude that this training does not improve their score on Butter-Bench.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)制御ロボットを実用的な知性のために評価するベンチマークであるButter-Benchについて述べる。 現在の最先端のロボットシステムは、LLMが高レベルの推論を担当する階層アーキテクチャと、低レベルの制御のためのビジョン言語アクション(VLA)モデルを使用している。 Butter-Bench は VLA から分離して LLM の部分を評価する。 LLMは、解析的知性を必要とする評価において、人間を何度も上回っているが、バター・ベンチでは、まだ人間の方がLLMを上回っている。 最高のLLMはバターベンチで40%、平均的な人間のスコアは95%である。 LLMは多段階の空間計画と社会的理解に最も苦労した。 また,具体的推論のために微調整されたLSMを評価し,このトレーニングはバター・ベンチのスコアを改善できないと結論付けた。

関連論文リスト

• LLM+AL: Bridging Large Language Models and Action Languages for Complex Reasoning about Actions [7.575628120822444]
  LLM+ALは,LLMの自然言語理解能力を,行動言語の記号的推論強度で橋渡しする手法である。 LLM+AL"はChatGPT-4, Claude 3 Opus, Gemini Ultra 1.0, o1-previewなど,最先端のLLMと比較する。 以上の結果から,LLM+ALは比較的最小限の修正しか行わないが,常に正しい解が得られることが示唆された。
  論文  参考訳（メタデータ） (2025-01-01T13:20:01Z)
• Scoring with Large Language Models: A Study on Measuring Empathy of Responses in Dialogues [3.2162648244439684]
  本研究では,対話における応答の共感を測り,評価する上で,大規模言語モデルがいかに効果的かを調べるための枠組みを開発する。 我々の戦略は、最新かつ微調整されたLLMの性能を明示的で説明可能な特徴で近似することである。 以上の結果から,組込みのみを用いる場合,ジェネリックLLMに近い性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-28T20:37:57Z)
• WALL-E: World Alignment by Rule Learning Improves World Model-based LLM Agents [55.64361927346957]
  大規模言語モデル(LLM)による規則の勾配なし学習のためのニューロシンボリックアプローチを提案する。 我々のLLMエージェントWALL-Eはモデル予測制御(MPC)上に構築されている MinecraftとALFWorldにおけるオープンワールドの課題について、WALL-Eは既存の方法よりも高い成功率を達成する。
  論文  参考訳（メタデータ） (2024-10-09T23:37:36Z)
• Unveiling Scoring Processes: Dissecting the Differences between LLMs and Human Graders in Automatic Scoring [21.7782670140939]
  大規模言語モデル(LLM)は、構築された応答評価のための自動スコアリングを行う上で、強力な可能性を示している。 人間によってランク付けされた構築された応答は、通常、与えられた格付けされたルーリックに基づいているが、LSMがスコアを割り当てる方法はほとんど不明である。 本稿では,理科の課題に対する学生の書面回答と人間のスコアとの整合性を評価するために,LLMが用いたグレーディングルーブリックを明らかにする。
  論文  参考訳（メタデータ） (2024-07-04T22:26:20Z)
• MMRo: Are Multimodal LLMs Eligible as the Brain for In-Home Robotics? [33.573056018368504]
  本研究では,Multimodal LLM for Robotic (MMRo)ベンチマークを評価するための最初のベンチマークを紹介する。 我々は、MLLMがロボットの中央処理ユニットとして持つべき4つの重要な能力知覚、タスク計画、視覚的推論、安全性の測定を識別する。 以上の結果から,現在のMLLMはロボットの認知コアとして機能するほど信頼できないことが示唆された。
  論文  参考訳（メタデータ） (2024-06-28T07:09:06Z)
• Auto-Arena: Automating LLM Evaluations with Agent Peer Battles and Committee Discussions [77.66677127535222]
  Auto-ArenaはLLMエージェントを使用した評価プロセス全体を自動化した革新的なフレームワークである。 我々の実験では、Auto-Arenaは92.14%の相関関係を示し、以前の専門家が注釈付けしたベンチマークをすべて上回っている。
  論文  参考訳（メタデータ） (2024-05-30T17:19:19Z)
• GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations [87.99872683336395]
  大規模言語モデル(LLM)は、重要な現実世界のアプリケーションに統合される。 本稿では,LLMの競合環境における推論能力について検討する。 まず,広く認識されている10のタスクを構成する言語駆動型環境であるGTBenchを提案する。
  論文  参考訳（メタデータ） (2024-02-19T18:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。