論文の概要: TALK-Dem: Benchmarking Embodied Task Planning under Dementia-Associated Communication Patterns

• arxiv url: http://arxiv.org/abs/2609.38371v1
• Date: Tue, 29 Sep 2026 18:33:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.575971
• Title: TALK-Dem: Benchmarking Embodied Task Planning under Dementia-Associated Communication Patterns
• Title（参考訳）: talK-Dem:認知症関連コミュニケーションパターン下での身体的タスクプランニングのベンチマーク
• Abstract要約: 認知症関連言語コミュニケーションにおけるロボットタスク計画評価のための最初のベンチマークであるTALK-Demを提案する。 TALK-Demには4,800の命令が含まれており、Referential Imprecision、Object Substitution、Empty Speech、Topic Drift、Intrusionの5つの典型的な通信パターンをカバーしている。 オープンウェイトLLMの6つの実験では、かなりの堅牢性ギャップが示される。 この問題を緩和するため、我々は経験からコンテキストを認識できる検索法(CARE)を提案した。
• 参考スコア（独自算出の注目度）: 31.821120400464896
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing LLM-driven robot task planners rely on a taken-for-granted assumption of an ideal user whose instructions are clear, complete, and task-focused. However, when interacting with real-world users, especially those experiencing cognitive impairments, such as people living with dementia (PLWD), the planners often make mistakes and even pose physical safety risks. We proposed TALK-Dem (Talking Attributes and Linguistic Knowledge in Dementia), the first benchmark for evaluating LLM-driven robot task planning under dementia-associated verbal communication. TALK-Dem contains 4,800 instructions and covers five typical communication patterns, including Referential Imprecision, Object Substitution, Empty Speech, Topic Drift, and Intrusion, at three intensity levels. Experiments across six open-weight LLMs reveal a substantial robustness gap. Across communication patterns, open-weight models exhibited performance drops of up to 22.3 percentage points compared to ideal instructions. This revealed a critical gap and even danger for real-world applications, especially in assistive robotics, where locally deployable models are necessary due to privacy concerns and connectivity constraints. To mitigate this issue, we proposed the Context-Aware Retrieval from Experience (CARE) method, which retrieves relevant previously resolved tasks to provide task-specific interpretation and planning context. CARE generally outperformed standard prompting baselines across the six open-weight models, improving average task success by 18.1 percentage points over the vanilla prompt. These results highlighted the importance of both evaluating communication robustness and developing effective adaptation strategies for locally deployable assistive robots. The TALK-Dem dataset is publicly available at https://anonymous.4open.science/r/TALK-Dem-A6B3/.
• Abstract（参考訳）: 既存のLLM駆動のロボットタスクプランナーは、指示が明確で、完全で、タスク中心の理想的なユーザーという、誇張された仮定に依存している。 しかし、認知症(PLWD)のような認知障害を経験する現実世界のユーザーと対話する場合、計画者はしばしば間違いを犯し、身体的安全性のリスクを負う。 我々は,認知症関連言語コミュニケーション下でのLLM駆動型ロボットタスク計画を評価するための最初のベンチマークであるTALK-Dem(Talking Attributes and Linguistic Knowledge in Dementia)を提案した。 TALK-Demには4,800の命令が含まれており、Referential Imprecision、Object Substitution、Empty Speech、Topic Drift、Intrusionの5つの典型的な通信パターンを3つの強度レベルでカバーしている。 オープンウェイトLLMの6つの実験では、かなりの堅牢性ギャップが示される。 コミュニケーションパターン全体では、オープンウェイトモデルでは、理想的な命令と比較して最大22.3ポイントのパフォーマンス低下を示した。 これは、特に、プライバシの懸念と接続の制約により、ローカルにデプロイ可能なモデルを必要とする、アシストロボット工学において、現実世界のアプリケーションにとって重要なギャップと危険性を明らかにした。 この問題を緩和するために、我々は、タスク固有の解釈と計画コンテキストを提供するために、関連する事前解決されたタスクを検索する、経験からコンテキスト対応検索法(CARE)を提案した。 CAREは6つのオープンウェイトモデルのベースラインを改良し、バニラプロンプトよりも平均タスク成功率を18.1ポイント向上させた。 これらの結果は、コミュニケーションの堅牢性を評価することの重要性と、ローカルに展開可能な補助ロボットに効果的な適応戦略を開発することの重要性を強調した。 TALK-Demデータセットはhttps://anonymous.4open.science/r/TALK-Dem-A6B3/で公開されている。

関連論文リスト

• Bayesian Active Learning for Intent Disambiguation in Interactive Robot Planning [14.137497560307468]
  対話型ロボット計画では、自然言語の指示から人間の意図を推論し実行する必要がある。 本稿では,STL(Signal Temporal Logic)タスク仕様に対して,明確化をアクティブな学習問題として扱うベイズフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-28T04:19:58Z)
• Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
  LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。 本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。 我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
  論文  参考訳（メタデータ） (2025-11-11T21:50:44Z)
• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• Teaching Language Models To Gather Information Proactively [53.85419549904644]
  大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。 本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。 キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。 このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
  論文  参考訳（メタデータ） (2025-07-28T23:50:09Z)
• Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
  AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。 不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。 対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
  論文  参考訳（メタデータ） (2025-02-18T17:12:26Z)
• Making Task-Oriented Dialogue Datasets More Natural by Synthetically Generating Indirect User Requests [6.33281463741573]
  間接ユーザ要求(IUR)は、ヒューマン・ヒューマン・タスク指向の対話において一般的であり、聞き手からの世界的知識と実践的推論を必要とする。 大きな言語モデル(LLM)はこれらの要求を効果的に処理できるが、仮想アシスタントにデプロイされる小さなモデルはリソースの制約のためにしばしば苦労する。
  論文  参考訳（メタデータ） (2024-06-12T01:18:04Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。