Fugu-MT 論文翻訳(概要): Mitigating Cross-Modal Distraction and Ensuring Geometric Feasibility via Affordance-Guided and Self-Consistent MLLMs for Task Planning in Instruction-Following Manipulation

論文の概要: Mitigating Cross-Modal Distraction and Ensuring Geometric Feasibility via Affordance-Guided and Self-Consistent MLLMs for Task Planning in Instruction-Following Manipulation

arxiv url: http://arxiv.org/abs/2503.13055v2
Date: Wed, 08 Oct 2025 03:30:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-09 14:21:17.958184
Title: Mitigating Cross-Modal Distraction and Ensuring Geometric Feasibility via Affordance-Guided and Self-Consistent MLLMs for Task Planning in Instruction-Following Manipulation
Title（参考訳）: 指示追従操作におけるタスクプランニングのためのクロスモーダル・ディトラクションの緩和とAffordance-GuidedおよびSelf-Consistent MLLMによる幾何学的可能性の確保
Authors: Yu-Hong Shen, Chuan-Yu Wu, Yi-Ru Yang, Yen-Ling Tai, Yi-Ting Chen,
Abstract要約: 食品準備シナリオに基づいた新しいベンチマークである textbfQuARC (Quantity, Analysis, Relative positioning, Collision) を導入する。現在のMLLMの2つの大きな制限に対処する。提案手法はベンチマークで76.7%の成功率を実現し,ViLaベースラインを著しく上回った。
参考スコア（独自算出の注目度）: 5.903105418868711
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We investigate the use of Multimodal Large Language Models (MLLMs) with in-context learning for closed-loop task planning in instruction-following manipulation. We identify four essential requirements for successful task planning: quantity estimation, reachability analysis, relative positioning, and collision avoidance. However, existing benchmarks fail to support holistic evaluation across all these aspects. To address this gap, we introduce \textbf{QuARC} (Quantity, Analysis, Relative positioning, Collision), a new benchmark based on a food preparation scenario that integrates all four challenges. Using QuARC, we reveal two major limitations of current MLLMs: cross-modal distraction and geometric infeasibility. To tackle these, we adapt Chain-of-Thought with Self-Consistency to mitigate reasoning loss from cross-modal distractions and incorporate an affordance predictor to guide planning based on geometric feasibility. Our comprehensive evaluation analyzes performance across multiple baselines and explains sources of improvement. Our method achieves a 76.7\% success rate on the benchmark, significantly outperforming the ViLa baseline (36.7\%), without requiring additional finetuning. Code and dataset are available at https://hcis-lab.github.io/Affordance-Guided-Self-Consistent-MLLM.
Abstract（参考訳）: 命令追従操作におけるクローズドループタスクプランニングにおけるマルチモーダル大言語モデル(MLLM)とコンテキスト内学習の併用について検討する。タスク計画に不可欠な4つの要件は,量推定,到達可能性解析,相対位置決定,衝突回避である。しかし、既存のベンチマークは、これらすべての側面の全体的評価をサポートしない。このギャップに対処するために、我々は4つの課題をすべて統合した食品準備シナリオに基づいた新しいベンチマークである \textbf{QuARC} (Quantity, Analysis, Relative positioning, Collision)を紹介する。現在のMLLMの2つの大きな限界、すなわちクロスモーダルな乱れと幾何学的不実現性を明らかにする。これらの課題に対処するため, 自己整合性を考慮したチェーン・オブ・ソートを適応し, 異種間乱れによる推論損失を軽減し, 幾何学的実現可能性に基づいた計画立案のための余裕予測器を組み込んだ。総合評価では,複数のベースラインにまたがる性能を分析し,改善の源泉を説明する。提案手法はベンチマークで76.7\%の成功率を実現し,ViLaベースライン(36.7\%)を大幅に上回った。コードとデータセットはhttps://hcis-lab.github.io/Affordance-Guided-Self-Consistent-MLLMで公開されている。

関連論文リスト

Survey of Adversarial Robustness in Multimodal Large Language Models [17.926240920647892]
MLLM(Multimodal Large Language Models)は、人工知能において例外的な性能を示す。現実世界のアプリケーションへのデプロイは、敵の脆弱性に対する重大な懸念を引き起こす。本稿では,MLLMの対角的ロバスト性について述べる。
論文参考訳（メタデータ） (2025-03-18T06:54:59Z)
An Empirical Exploration of ChatGPT's Ability to Support Problem Formulation Tasks for Mission Engineering and a Documentation of its Performance Variability [0.0]
本稿では,大規模言語モデル(LLM)の品質と整合性について考察する。我々は、関連する参照問題、NASAの宇宙ミッション設計課題を特定し、ChatGPT-3.5のステークホルダ識別タスクの実行能力を文書化する。 LLMは人間の利害関係者の識別には有効であるが, 外部システムや環境要因の認識には不十分であることがわかった。
論文参考訳（メタデータ） (2025-02-05T17:58:23Z)
Evaluating and Advancing Multimodal Large Language Models in Perception Ability Lens [30.083110119139793]
textbfAbilityLensはMLLMを6つの重要な知覚能力で評価する統合ベンチマークである。我々は、現在のメインストリームMLLMの長所と短所を特定し、安定性パターンを強調し、最先端のオープンソースモデルとクローズドソースモデルの顕著なパフォーマンスギャップを明らかにする。
論文参考訳（メタデータ） (2024-11-22T04:41:20Z)
The Role of Deductive and Inductive Reasoning in Large Language Models [37.430396755248104]
本稿では,大規模言語モデル(LLM)推論を強化するために,DID法を提案する。 DIDはリトルストーン次元と情報エントロピーを組み合わせた2次元複雑度評価システムを実装している。その結果,推理精度と解の精度は有意に向上した。
論文参考訳（メタデータ） (2024-10-03T18:30:47Z)
Assessing Modality Bias in Video Question Answering Benchmarks with Multimodal Large Language Models [12.841405829775852]
我々は、VidQAベンチマークとデータセットのバイアスを特定するために、MIS(Modality importance score)を導入する。また,最新のMLLMを用いてモダリティの重要度を推定する手法を提案する。以上の結果から,既存のデータセットでは,モダリティの不均衡による情報統合が効果的に行われていないことが示唆された。
論文参考訳（メタデータ） (2024-08-22T23:32:42Z)
Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文参考訳（メタデータ） (2024-06-13T14:41:00Z)
MARS: Benchmarking the Metaphysical Reasoning Abilities of Language Models with a Multi-task Evaluation Dataset [50.36095192314595]
大きな言語モデル(LLM)は、一般化可能な推論能力を持つ意識的なエージェントとして機能する。この能力は、イベントにおける無限の可能な変更をモデル化する複雑さのために、まだ探索されていない。我々は,各ステップに対応する3つのタスクからなる最初のベンチマークMARSを紹介する。
論文参考訳（メタデータ） (2024-06-04T08:35:04Z)
Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文参考訳（メタデータ） (2024-03-12T13:31:14Z)
TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文参考訳（メタデータ） (2023-10-10T16:38:49Z)
Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-09-08T17:49:44Z)
Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文参考訳（メタデータ） (2023-09-07T01:35:24Z)
TaskLAMA: Probing the Complex Task Understanding of Language Models [13.336015994186955]
構造化複雑タスク分解(Structured Complex Task Decomposition, SCTD)は、複雑な現実世界のタスクを、タスク達成に寄与する個々のステップ上の有向非巡回グラフに分解する問題である。我々は,Large Language Models (LLMs) から抽出した知識を用いて,SCTDの精度を検証した。実験の結果,LLMは複雑なタスクを個々のステップに効果的に分解できることがわかった。
論文参考訳（メタデータ） (2023-08-29T13:36:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。