論文の概要: Mitigating Cross-Modal Distraction and Ensuring Geometric Feasibility via Affordance-Guided, Self-Consistent MLLMs for Food Preparation Task Planning

• arxiv url: http://arxiv.org/abs/2503.13055v1
• Date: Mon, 17 Mar 2025 11:01:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:59:02.028155
• Title: Mitigating Cross-Modal Distraction and Ensuring Geometric Feasibility via Affordance-Guided, Self-Consistent MLLMs for Food Preparation Task Planning
• Title（参考訳）: 食品調製作業計画のための多面的逸脱の緩和と順応型自己整合型MLLMによる幾何学的可能性の確保
• Authors: Yu-Hong Shen, Chuan-Yu Wu, Yi-Ru Yang, Yen-Ling Tai, Yi-Ting Chen,
• Abstract要約: 食品準備作業計画のためのコンテキスト内学習によるMLLM(Multimodal Large Language Models)について検討する。 クロスモーダルな散逸と幾何学的実現可能性の2つの主要な課題を識別する。
• 参考スコア（独自算出の注目度）: 4.517179671723703
• License:
• Abstract: We study Multimodal Large Language Models (MLLMs) with in-context learning for food preparation task planning. In this context, we identify two key challenges: cross-modal distraction and geometric feasibility. Cross-modal distraction occurs when the inclusion of visual input degrades the reasoning performance of a MLLM. Geometric feasibility refers to the ability of MLLMs to ensure that the selected skills are physically executable in the environment. To address these issues, we adapt Chain of Thought (CoT) with Self-Consistency to mitigate reasoning loss from cross-modal distractions and use affordance predictor as skill preconditions to guide MLLM on geometric feasibility. We construct a dataset to evaluate the ability of MLLMs on quantity estimation, reachability analysis, relative positioning and collision avoidance. We conducted a detailed evaluation to identify issues among different baselines and analyze the reasons for improvement, providing insights into each approach. Our method reaches a success rate of 76.7% on the entire dataset, showing a substantial improvement over the CoT baseline at 36.7%.
• Abstract（参考訳）: 食品準備作業計画のためのコンテキスト内学習によるMLLM(Multimodal Large Language Models)について検討する。 この文脈では、クロスモーダルな散逸と幾何学的実現可能性の2つの主要な課題を識別する。 視覚入力を組み込むとMLLMの推論性能が低下する。 幾何学的実現可能性(Geometric fiasibility)とは、MLLMが選択したスキルが環境において物理的に実行可能であることを保証する能力である。 これらの問題に対処するため,我々は,MLLM を幾何学的実現性に導くためのスキル前提条件として,クロスモーダルな注意散逸による推論損失を軽減するために,CoT (Chain of Thought) を自己整合性(Self-Consistency) に適応させる。 本研究では,MLLMの量推定,到達可能性解析,相対位置推定,衝突回避における能力を評価するデータセットを構築した。 異なるベースライン間の問題を識別し、改善の理由を分析し、それぞれのアプローチに関する洞察を提供するための詳細な評価を行った。 我々の手法はデータセット全体の76.7%の成功率に達し、CoTベースラインを36.7%で大幅に改善した。

関連論文リスト

• An Empirical Exploration of ChatGPT's Ability to Support Problem Formulation Tasks for Mission Engineering and a Documentation of its Performance Variability [0.0]
  本稿では,大規模言語モデル(LLM)の品質と整合性について考察する。 我々は、関連する参照問題、NASAの宇宙ミッション設計課題を特定し、ChatGPT-3.5のステークホルダ識別タスクの実行能力を文書化する。 LLMは人間の利害関係者の識別には有効であるが, 外部システムや環境要因の認識には不十分であることがわかった。
  論文  参考訳（メタデータ） (2025-02-05T17:58:23Z)
• The Role of Deductive and Inductive Reasoning in Large Language Models [37.430396755248104]
  本稿では,大規模言語モデル(LLM)推論を強化するために,DID法を提案する。 DIDはリトルストーン次元と情報エントロピーを組み合わせた2次元複雑度評価システムを実装している。 その結果,推理精度と解の精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-10-03T18:30:47Z)
• Assessing Modality Bias in Video Question Answering Benchmarks with Multimodal Large Language Models [12.841405829775852]
  我々は、VidQAベンチマークとデータセットのバイアスを特定するために、MIS(Modality importance score)を導入する。 また,最新のMLLMを用いてモダリティの重要度を推定する手法を提案する。 以上の結果から,既存のデータセットでは,モダリティの不均衡による情報統合が効果的に行われていないことが示唆された。
  論文  参考訳（メタデータ） (2024-08-22T23:32:42Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• Exposing the Achilles' Heel: Evaluating LLMs Ability to Handle Mistakes in Mathematical Reasoning [11.63133816413199]
  大言語モデル (LLM) は数学語問題 (MWP) に適用されている。 本稿では,ルールベース手法とより小さな言語モデルにより生成される正しい推論ステップと誤推論ステップをMWPに組み込んだ,新しいデータセットMWP-MISTAKEを提案する。 GPT-$oの誤り検出と修正における優れた性能と、より小さなモデルで直面する永続的な課題を強調した。
  論文  参考訳（メタデータ） (2024-06-16T08:06:05Z)
• MARS: Benchmarking the Metaphysical Reasoning Abilities of Language Models with a Multi-task Evaluation Dataset [50.36095192314595]
  大きな言語モデル(LLM)は、一般化可能な推論能力を持つ意識的なエージェントとして機能する。 この能力は、イベントにおける無限の可能な変更をモデル化する複雑さのために、まだ探索されていない。 我々は,各ステップに対応する3つのタスクからなる最初のベンチマークMARSを紹介する。
  論文  参考訳（メタデータ） (2024-06-04T08:35:04Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• TaskLAMA: Probing the Complex Task Understanding of Language Models [13.336015994186955]
  構造化複雑タスク分解(Structured Complex Task Decomposition, SCTD)は、複雑な現実世界のタスクを、タスク達成に寄与する個々のステップ上の有向非巡回グラフに分解する問題である。 我々は,Large Language Models (LLMs) から抽出した知識を用いて,SCTDの精度を検証した。 実験の結果,LLMは複雑なタスクを個々のステップに効果的に分解できることがわかった。
  論文  参考訳（メタデータ） (2023-08-29T13:36:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。