論文の概要: Symbol Emergence as Inter-personal Categorization with Head-to-head Latent Word

• arxiv url: http://arxiv.org/abs/2205.15027v1
• Date: Tue, 24 May 2022 23:18:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-12 09:34:39.472028
• Title: Symbol Emergence as Inter-personal Categorization with Head-to-head Latent Word
• Title（参考訳）: 頭から頭までの単語による個人間分類としてのシンボル創発
• Authors: Kazuma Furukawa, Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi
• Abstract要約: 個人間マルチモーダルディリクレ混合(Inter-MDM)を提案する。 H2H型Inter-MDMは、マルチモーダル分類と符号共有の観点から、従来のInter-MDMとほぼ同じ性能が得られる。
• 参考スコア（独自算出の注目度）: 6.270305440413688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we propose a head-to-head type (H2H-type) inter-personal multimodal Dirichlet mixture (Inter-MDM) by modifying the original Inter-MDM, which is a probabilistic generative model that represents the symbol emergence between two agents as multiagent multimodal categorization. A Metropolis--Hastings method-based naming game based on the Inter-MDM enables two agents to collaboratively perform multimodal categorization and share signs with a solid mathematical foundation of convergence. However, the conventional Inter-MDM presumes a tail-to-tail connection across a latent word variable, causing inflexibility of the further extension of Inter-MDM for modeling a more complex symbol emergence. Therefore, we propose herein a head-to-head type (H2H-type) Inter-MDM that treats a latent word variable as a child node of an internal variable of each agent in the same way as many prior studies of multimodal categorization. On the basis of the H2H-type Inter-MDM, we propose a naming game in the same way as the conventional Inter-MDM. The experimental results show that the H2H-type Inter-MDM yields almost the same performance as the conventional Inter-MDM from the viewpoint of multimodal categorization and sign sharing.
• Abstract（参考訳）: 本研究では,2つのエージェント間のシンボルの出現を表す確率的生成モデルであるInter-MDMをマルチエージェントマルチモーダル分類として修正し,ヘッドツーヘッド型(H2H型)の個人間マルチモーダルディリクレ混合(Inter-MDM)を提案する。 mdmに基づくメトロポリス・ハスティングス方式に基づく命名ゲームにより、2つのエージェントが協調してマルチモーダル分類を行い、統一された数学的収束の基盤と符号を共有することができる。 しかし、従来のInter-MDMは、潜在単語変数をまたいだテール・ツー・テール接続を前提としており、より複雑なシンボルの出現をモデル化するためのInter-MDMのさらなる拡張の柔軟性を損なう。 そこで本研究では,マルチモーダル分類の多くの先行研究と同様に,潜在単語変数を各エージェントの内部変数の子ノードとして扱うヘッド・ツー・ヘッド型(h2h型)間mdmを提案する。 H2H型インターMDMに基づいて,従来のインターMDMと同じように命名ゲームを提案する。 実験の結果,H2H型インターMDMはマルチモーダル分類と符号共有の観点から従来のインターMDMとほぼ同等の性能を示した。

関連論文リスト

• GSIFN: A Graph-Structured and Interlaced-Masked Multimodal Transformer-based Fusion Network for Multimodal Sentiment Analysis [0.0]
  マルチモーダルセンチメント分析(MSA)は、複数のデータモーダルを利用して人間の感情を分析する。 既存のMSAモデルでは、MSA能力を促進するために、最先端のマルチモーダル融合と表現学習に基づく手法が一般的である。 提案するGSIFNは,これらの問題を解決するために2つの主成分を組み込んでいる。 これはInterlaced Mask機構を採用し、堅牢なマルチモーダルグラフ埋め込みを構築し、オールモーダルインワントランスフォーマーベースの融合を実現し、計算オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-08-27T06:44:28Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• MMoE: Enhancing Multimodal Models with Mixtures of Multimodal Interaction Experts [92.76662894585809]
  MMOE(Multimodal Mixtures of Experts)と呼ばれるマルチモーダルモデルの拡張手法を導入する。 MMoEは様々な種類のモデルに適用でき、改善できる。
  論文  参考訳（メタデータ） (2023-11-16T05:31:21Z)
• Revisiting Disentanglement and Fusion on Modality and Context in Conversational Multimodal Emotion Recognition [81.2011058113579]
  特徴の多様性と会話の文脈化は、特徴の絡み合いと融合の段階において、同時に適切にモデル化されるべきである。 マルチモーダル・コンテキスト統合のためのコントリビューション・アウェア・フュージョン・メカニズム(CFM)とコンテキスト・リフュージョン・メカニズム(CRM)を提案する。 我々のシステムは、新しい最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2023-08-08T18:11:27Z)
• Score-Based Multimodal Autoencoders [4.594159253008448]
  マルチモーダル変分オートエンコーダ(VAEs)は、複数のモダリティを与えられた潜在空間内でのトラクタブルな後部の構築を容易にする。 本研究では, マルチモーダルVAEの生成性能を高めるための代替手法について検討した。 本モデルでは,単調なVAEの優れた生成品質と,異なるモダリティをまたいだコヒーレントな統合を組み合わせた。
  論文  参考訳（メタデータ） (2023-05-25T04:43:47Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Rethinking Trajectory Prediction via "Team Game" [118.59480535826094]
  本稿では,対話型グループコンセンサスの概念を明示的に導入した,マルチエージェント軌道予測の新しい定式化について述べる。 チームスポーツと歩行者の2つのマルチエージェント設定において,提案手法は既存手法と比較して常に優れた性能を達成している。
  論文  参考訳（メタデータ） (2022-10-17T07:16:44Z)
• Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition [63.07844685982738]
  本稿では、LSTM隠蔽状態上の注目に基づく双方向アライメントネットワークで構成されるGBAN(Gated Bidirectional Alignment Network)と呼ばれる新しいモデルを提案する。 LSTMの最後の隠れ状態よりもアテンション整列表現の方が有意に優れていたことを実証的に示す。 提案したGBANモデルは、IEMOCAPデータセットにおける既存の最先端マルチモーダルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-01-17T09:46:59Z)
• Multiagent Multimodal Categorization for Symbol Emergence: Emergent Communication via Interpersonal Cross-modal Inference [4.964816143841663]
  本稿では,創発的コミュニケーションを実現するマルチエージェントマルチモーダル分類の計算モデルについて述べる。 インターMDMにより、エージェントはマルチモーダルカテゴリを形成し、エージェント間でサインを適切に共有することができる。 突発的コミュニケーションは,いくつかの感覚的モダリティが欠如している場合でも,分類精度を向上させることが示されている。
  論文  参考訳（メタデータ） (2021-09-15T10:20:54Z)
• Abstractive Sentence Summarization with Guidance of Selective Multimodal Reference [3.505062507621494]
  モーダル間の相互関係を考慮したマルチモーダル階層選択変換器(mhsf)モデルを提案する。 提案したmhsfモデルの汎用性を,事前学習+微調整および新鮮トレーニング戦略を用いて評価した。
  論文  参考訳（メタデータ） (2021-08-11T09:59:34Z)
• Detecting Dynamic Community Structure in Functional Brain Networks Across Individuals: A Multilayer Approach [12.923521418531655]
  脳機能ネットワークのコミュニティ構造を特徴付けるための統一統計フレームワークを提案する。 本稿では,多目的マルコフスイッチングブロックモデル(MSS-SBM)を提案する。
  論文  参考訳（メタデータ） (2020-04-09T04:23:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。