論文の概要: Emergent Graphical Conventions in a Visual Communication Game

• arxiv url: http://arxiv.org/abs/2111.14210v1
• Date: Sun, 28 Nov 2021 18:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 08:03:23.176061
• Title: Emergent Graphical Conventions in a Visual Communication Game
• Title（参考訳）: ビジュアルコミュニケーションゲームにおける創発的なグラフィカルコンベンション
• Authors: Shuwen Qiu, Sirui Xie, Lifeng Fan, Tao Gao, Song-Chun Zhu, Yixin Zhu
• Abstract要約: 人間は象徴的な言語とは別にグラフィカルなスケッチと通信する。 視覚コミュニケーションゲームをする2つのニューラルエージェントを介して、このような進化過程をモデル化し、シミュレートする第一歩を踏み出す。 我々は,コミュニケーションと抽象的なグラフィカルな慣行を成功させるために,エージェントを共同で進化させる新しい強化学習手法を考案した。
• 参考スコア（独自算出の注目度）: 80.79297387339614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans communicate with graphical sketches apart from symbolic languages. While recent studies of emergent communication primarily focus on symbolic languages, their settings overlook the graphical sketches existing in human communication; they do not account for the evolution process through which symbolic sign systems emerge in the trade-off between iconicity and symbolicity. In this work, we take the very first step to model and simulate such an evolution process via two neural agents playing a visual communication game; the sender communicates with the receiver by sketching on a canvas. We devise a novel reinforcement learning method such that agents are evolved jointly towards successful communication and abstract graphical conventions. To inspect the emerged conventions, we carefully define three key properties -- iconicity, symbolicity, and semanticity -- and design evaluation methods accordingly. Our experimental results under different controls are consistent with the observation in studies of human graphical conventions. Of note, we find that evolved sketches can preserve the continuum of semantics under proper environmental pressures. More interestingly, co-evolved agents can switch between conventionalized and iconic communication based on their familiarity with referents. We hope the present research can pave the path for studying emergent communication with the unexplored modality of sketches.
• Abstract（参考訳）: 人間は象徴言語とは別にグラフィカルなスケッチと通信する。 創発的コミュニケーションの最近の研究は主に象徴的言語に焦点を当てているが、それらの設定は人間のコミュニケーションに存在するグラフィカルなスケッチを見落としている。 本研究では,視覚的コミュニケーションゲームを行う2つのニューラルエージェントを介して,このような進化過程をモデル化し,シミュレートするための第一歩として,送信側がキャンバス上でスケッチすることで受信側と通信する。 エージェントがコミュニケーションの成功と抽象的なグラフィカルな慣習に向けて共同で進化する新しい強化学習法を考案する。 出現したコンベンションを検査するために,3つの重要な特性 – 共通性,象徴性,意味性 – を慎重に定義し,それに応じて設計評価手法を設計する。 異なる制御下での実験結果は,人間のグラフィカル・コンベンションの研究における観察と一致している。 注意すべき点として、進化したスケッチは適切な環境圧力下で意味論の連続性を維持することができる。 より興味深いことに、共進化エージェントは、参照者との親しみに基づいて、従来のコミュニケーションと象徴的なコミュニケーションを切り替えることができる。 本研究は,未発見のスケッチのモダリティによる創発的コミュニケーション研究の道を開くことを願っている。

関連論文リスト

• EC^2: Emergent Communication for Embodied Control [72.99894347257268]
  エージェントはマルチモーダル・プレトレーニングを活用して、新しい環境でどのように振る舞うかを素早く学ぶ必要がある。 本稿では,数発のエンボディドコントロールのためのビデオ言語表現を事前学習するための新しいスキームであるEmergent Communication for Embodied Control (EC2)を提案する。 EC2は、タスク入力としてビデオとテキストの両方の従来のコントラスト学習手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2023-04-19T06:36:02Z)
• Models of symbol emergence in communication: a conceptual review and a guide for avoiding local minima [0.0]
  計算シミュレーションは、通信の出現に関する仮説をテストする一般的な方法である。 我々は、いくつかの最も代表的なモデルの仮定と説明的対象を特定し、既知の結果を要約する。 この観点から、意味ある象徴的コミュニケーションの出現をモデル化する道のりをスケッチする。
  論文  参考訳（メタデータ） (2023-03-08T12:53:03Z)
• Emergence of Shared Sensory-motor Graphical Language from Visual Input [22.23299485364174]
  本稿では、話者が視覚的参照オブジェクトを名付けるために、グラフィカルな発話を生成しなければならないグラフィカル・リファレンシャル・ゲーム(GREG)を紹介した。 発声は、ダイナミックモータプリミティブとスケッチライブラリを組み合わせた描画画像である。 提案手法は,構成特性を持つ共有グラフィカル言語の出現を可能にする。
  論文  参考訳（メタデータ） (2022-10-03T17:11:18Z)
• Iconary: A Pictionary-Based Game for Testing Multimodal Communication with Drawings and Text [70.14613727284741]
  人間とのコミュニケーションは、世界の共通理解、複雑なセマンティクス、時にはマルチモーダルなジェスチャーを必要とするため、AIにとって難しい。 図面と推測の協調ゲームであるIconaryの文脈において,これらの課題を考察する。 我々は、Iconaryをプレイし、人間のプレイヤー間で55,000以上のゲームでそれらをトレーニングするモデルを提案する。
  論文  参考訳（メタデータ） (2021-12-01T19:41:03Z)
• Visual resemblance and communicative context constrain the emergence of graphical conventions [21.976382800327965]
  描画は視覚世界についてコミュニケーションするための多彩な媒体を提供する。 視聴者は、自分の参照するエンティティ(つまり画像)にのみ類似する能力に基づいて、図面を理解できますか? 彼らはこれらの実体(記号)との共有だが任意の関連に基づく図面を理解できますか。
  論文  参考訳（メタデータ） (2021-09-17T23:05:36Z)
• pix2rule: End-to-end Neuro-symbolic Rule Learning [84.76439511271711]
  本稿では,画像のオブジェクトへの処理,学習関係,論理規則に関する完全なニューロシンボリックな手法を提案する。 主な貢献は、シンボリックリレーションとルールを抽出できるディープラーニングアーキテクチャにおける差別化可能なレイヤである。 我々のモデルは最先端のシンボリックラーナーを超えてスケールし、ディープリレーショナルニューラルネットワークアーキテクチャよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2021-06-14T15:19:06Z)
• Learning to Draw: Emergent Communication through Sketching [0.0]
  タスクを協調的に解決するために,エージェントがコミュニケーションを学ぶ方法を示す。 既存の研究は言語に重点を置いており、エージェント間で個別のトークンのシーケンスを学習された通信チャネルで送信している。 我々のエージェントはディープニューラルネットワークによってパラメータ化されており、描画手順は微分可能であり、エンドツーエンドのトレーニングを可能にします。 参照型コミュニケーションゲームの枠組みでは,エージェントが図面によるコミュニケーションをうまく学べるだけでなく,適切な帰納的バイアスを伴って,人間が解釈できる方法で行うことができることを示す。
  論文  参考訳（メタデータ） (2021-06-03T18:17:55Z)
• Metaphor Generation with Conceptual Mappings [58.61307123799594]
  我々は、関連する動詞を置き換えることで、リテラル表現を与えられた比喩文を生成することを目指している。 本稿では,認知領域間の概念マッピングを符号化することで生成過程を制御することを提案する。 教師なしCM-Lexモデルは,近年のディープラーニングメタファ生成システムと競合することを示す。
  論文  参考訳（メタデータ） (2021-06-02T15:27:05Z)
• Exploring Visual Engagement Signals for Representation Learning [56.962033268934015]
  VisEは、クラスタ化されたエンゲージメント信号から派生した擬似ラベルにソーシャルイメージをマップする弱い教師付き学習アプローチである。 この方法でトレーニングされたモデルが、感情認識や政治的バイアス検出といった主観的なコンピュータビジョンタスクにどのように役立つかを研究する。
  論文  参考訳（メタデータ） (2021-04-15T20:50:40Z)
• Towards Graph Representation Learning in Emergent Communication [37.8523331078468]
  我々は,マルチエージェントシステムにおける言語進化と協調を支援するために,グラフ畳み込みネットワークを利用する。 画像ベースの参照ゲームに動機づけられた,複雑度の異なるグラフ参照ゲームを提案する。 出現した通信プロトコルは堅牢であり、エージェントはゲームの変動の真の要因を明らかにし、トレーニング中に遭遇したサンプルを超えて一般化することを学ぶ。
  論文  参考訳（メタデータ） (2020-01-24T15:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。