論文の概要: Emergent Communication in Interactive Sketch Question Answering

• arxiv url: http://arxiv.org/abs/2310.15597v1
• Date: Tue, 24 Oct 2023 08:00:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 20:02:20.327375
• Title: Emergent Communication in Interactive Sketch Question Answering
• Title（参考訳）: 対話型スケッチ質問応答における創発的コミュニケーション
• Authors: Zixing Lei, Yiming Zhang, Yuxin Xiong and Siheng Chen
• Abstract要約: 視覚に基づく創発的コミュニケーション(EC)は、スケッチを通してコミュニケーションを学び、人間のコミュニケーションの進化を解明することを目的としている。 まず,2人の共同プレイヤがスケッチを通して対話し,複数ラウンドで画像に関する質問に答える,インタラクティブスケッチ質問回答(ISQA)タスクを紹介する。 人的評価を含む実験結果は、多ラウンドの対話機構が、適切な人間の解釈可能性を持つ知的エージェント間の標的的かつ効率的なコミュニケーションを促進することを実証している。
• 参考スコア（独自算出の注目度）: 38.38087954142305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-based emergent communication (EC) aims to learn to communicate through sketches and demystify the evolution of human communication. Ironically, previous works neglect multi-round interaction, which is indispensable in human communication. To fill this gap, we first introduce a novel Interactive Sketch Question Answering (ISQA) task, where two collaborative players are interacting through sketches to answer a question about an image in a multi-round manner. To accomplish this task, we design a new and efficient interactive EC system, which can achieve an effective balance among three evaluation factors, including the question answering accuracy, drawing complexity and human interpretability. Our experimental results including human evaluation demonstrate that multi-round interactive mechanism facilitates targeted and efficient communication between intelligent agents with decent human interpretability.
• Abstract（参考訳）: 視覚に基づく創発的コミュニケーション(EC)は、スケッチを通してコミュニケーションを学び、人間のコミュニケーションの進化を解明することを目的としている。 皮肉なことに、以前の作品は、人間のコミュニケーションに欠かせないマルチラウンドインタラクションを無視している。 このギャップを埋めるために、我々はまず、2人の共同プレイヤーがスケッチを通して対話し、複数のラウンドで画像に関する質問に答える、インタラクティブスケッチ質問回答(ISQA)タスクを導入する。 この課題を達成するために,質問応答精度,複雑化,人間の解釈可能性などの3つの評価因子のバランスを効果的に達成できる,新しいインタラクティブECシステムを設計する。 人的評価を含む実験結果から,マルチラウンド対話機構は,適切な人間解釈能力を有する知的エージェント間のコミュニケーションを目標とし,効率的なものにすることが示された。

関連論文リスト

• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• AntEval: Evaluation of Social Interaction Competencies in LLM-Driven Agents [65.16893197330589]
  大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。 しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。 本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
  論文  参考訳（メタデータ） (2024-01-12T11:18:00Z)
• Disentangled Interaction Representation for One-Stage Human-Object Interaction Detection [70.96299509159981]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。 最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。 従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-04T08:02:59Z)
• Re-mine, Learn and Reason: Exploring the Cross-modal Semantic Correlations for Language-guided HOI detection [57.13665112065285]
  ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。 本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:52Z)
• Automatic Context-Driven Inference of Engagement in HMI: A Survey [6.479224589451863]
  本稿では,人間と機械の相互作用に関するエンゲージメント推論について述べる。 これには、学際的定義、エンゲージメントコンポーネントと要因、公開データセット、地上真実の評価、そして最も一般的に使用される機能と方法が含まれる。 これは、信頼性の高いコンテキスト認識エンゲージメント推論機能を備えた、将来の人間と機械のインタラクションインターフェースの開発のためのガイドとして機能する。
  論文  参考訳（メタデータ） (2022-09-30T10:46:13Z)
• Enabling Harmonious Human-Machine Interaction with Visual-Context Augmented Dialogue System: A Review [40.49926141538684]
  Visual Context Augmented Dialogue System (VAD) は、マルチモーダル情報を知覚し理解することで人間とコミュニケーションする能力を持つ。 VADは、エンゲージメントとコンテキスト対応の応答を生成する可能性を秘めている。
  論文  参考訳（メタデータ） (2022-07-02T09:31:37Z)
• Transferable Interactiveness Knowledge for Human-Object Interaction Detection [46.89715038756862]
  我々は,人間と物体が相互に相互作用するか否かを示す対話性知識を探索する。 対話性に関する知識は、HOIデータセット全体で学習でき、多様なHOIカテゴリ設定のギャップを埋めることができる。 私たちのコアアイデアは、対話性ネットワークを利用して、複数のHOIデータセットから一般的な対話性知識を学ぶことです。
  論文  参考訳（メタデータ） (2021-01-25T18:21:07Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。