論文の概要: Gesturing Toward Abstraction: Multimodal Convention Formation in Collaborative Physical Tasks

• arxiv url: http://arxiv.org/abs/2602.08914v1
• Date: Mon, 09 Feb 2026 17:13:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.391844
• Title: Gesturing Toward Abstraction: Multimodal Convention Formation in Collaborative Physical Tasks
• Title（参考訳）: 抽象に向けて:協調的物理課題における多モーダルコンベンションの形成
• Authors: Kiyosu Maeda, William P. McCarthy, Ching-Yi Tsai, Jeffrey Mu, Haoliang Wang, Robert D. Hawkins, Judith E. Fan, Parastoo Abtahi,
• Abstract要約: 共有手続き的抽象化に基づく協調作業を通じてコミュニケーション戦略がどのように発展していくかを検討する。 コンベンション形成の確率モデルをマルチモーダル設定に拡張し、モダリティの好みの変化を捉える。 我々の発見とモデルは、物理世界に存在する慣行に敏感なエージェントを設計するためのビルディングブロックを提供する。
• 参考スコア（独自算出の注目度）: 10.280336299578046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A quintessential feature of human intelligence is the ability to create ad hoc conventions over time to achieve shared goals efficiently. We investigate how communication strategies evolve through repeated collaboration as people coordinate on shared procedural abstractions. To this end, we conducted an online unimodal study (n = 98) using natural language to probe abstraction hierarchies. In a follow-up lab study (n = 40), we examined how multimodal communication (speech and gestures) changed during physical collaboration. Pairs used augmented reality to isolate their partner's hand and voice; one participant viewed a 3D virtual tower and sent instructions to the other, who built the physical tower. Participants became faster and more accurate by establishing linguistic and gestural abstractions and using cross-modal redundancy to emphasize key changes from previous interactions. Based on these findings, we extend probabilistic models of convention formation to multimodal settings, capturing shifts in modality preferences. Our findings and model provide building blocks for designing convention-aware intelligent agents situated in the physical world.
• Abstract（参考訳）: 人間の知性の重要な特徴は、共有目標を効率的に達成するために時間をかけてアドホックな慣習を作成する能力である。 共有手続き的抽象化に基づく協調作業を通じてコミュニケーション戦略がどのように発展していくかを検討する。 この目的のために、自然言語を用いて一助研究(n = 98)を行い、抽象階層を探索した。 追従実験(n = 40)では,複数モーダルコミュニケーション(音声とジェスチャー)が身体的コラボレーションにおいてどのように変化したかを検討した。 ペアは拡張現実を使ってパートナーの手と声を分離し、1人の参加者は3Dバーチャルタワーを見て、もう1人に指示を送った。 参加者は言語的およびジェスチャー的抽象化を確立し、以前の相互作用から重要な変化を強調するためにモーダルな冗長性を利用することにより、より速く、より正確になった。 これらの結果から,コンベンション形成の確率論的モデルを多モード設定に拡張し,モダリティの選好の変化を捉えた。 我々の発見とモデルは、物理世界に存在する慣行に敏感なエージェントを設計するためのビルディングブロックを提供する。

関連論文リスト

• Agentic Conversational Search with Contextualized Reasoning via Reinforcement Learning [66.52010873968383]
  本稿では,RL学習を通じて学習した探索的,適応的な行動を可能にする,交互に探索と推論をインターリーブする対話エージェントを提案する。 広く使われている4つの対話型ベンチマークによる実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2026-01-19T14:55:54Z)
• Learning to Generate Pointing Gestures in Situated Embodied Conversational Agents [19.868403110796105]
  本稿では,模倣と強化学習を組み合わせることで,具体的エージェントのポインティングジェスチャーを生成する枠組みを提案する。 我々は,客観的指標と仮想空間的参照ゲームの両方において,教師付き学習と検索のベースラインに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-09-15T23:15:15Z)
• Seamless Interaction: Dyadic Audiovisual Motion Modeling and Large-Scale Dataset [113.25650486482762]
  4000時間以上の対面インタラクション映像の大規模な収集であるSeamless Interactionデータセットを紹介した。 このデータセットは、ダイドの具体的ダイナミクスを理解するAIテクノロジの開発を可能にする。 そこで我々は,このデータセットを用いて,人間の発話に適応した動作ジェスチャーと表情を生成するモデル群を開発した。
  論文  参考訳（メタデータ） (2025-06-27T18:09:49Z)
• Algorithmic Prompt Generation for Diverse Human-like Teaming and Communication with Large Language Models [14.45823275027527]
  品質多様性(QD)最適化は、多様な強化学習(RL)エージェントの振る舞いを生成することができる。 我々はまず、人間-物体実験を通して、人間がこの領域で様々な協調行動とコミュニケーション行動を示すことを示す。 そして、我々の手法は、人間のチームデータからトレンドを効果的に再現し、観察できない振る舞いを捉えることができることを示す。
  論文  参考訳（メタデータ） (2025-04-04T23:09:40Z)
• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• PACE: Abstractions for Communicating Efficiently [0.9374652839580183]
  人間は抽象化を導入して使うのが得意です。 この現象を再現しようとするいくつかの計算手法が試みられているが、抽象概念の導入と学習について非現実的な仮定を下している。 我々はこれをコミュニケーションと強化学習のためのニューラルな手法と組み合わせ、新しい抽象化を導入する際の探索と搾取のトレードオフを制御するために、バンディットアルゴリズムを新たに活用する。 私たちの仕事は、人間のようなコミュニケーション抽象化機能を備えた会話エージェントを提供するための第一歩として役立ちます。
  論文  参考訳（メタデータ） (2024-09-30T09:20:18Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Learning to communicate about shared procedural abstractions [3.237380113935023]
  本研究では,人間が自然言語を用いて物理的組立問題を協調的に解く方法について検討する。 ある参加者は標的の塔を見ることができ、他の参加者に再建のための組み立て指示を送った。 結果は、知的エージェントが共通の手続き的抽象化に基づいて調整できる誘導バイアスに光を当てた。
  論文  参考訳（メタデータ） (2021-06-30T19:59:11Z)
• Coordination Among Neural Modules Through a Shared Global Workspace [78.08062292790109]
  認知科学において、機能的に特殊なコンポーネントが情報を共有するグローバルなワークスペースアーキテクチャが提案されている。 キャパシティ制限は、特殊化と構成性を奨励する合理的な基礎を持つことを示す。
  論文  参考訳（メタデータ） (2021-03-01T18:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。