論文の概要: Multimodal Contextualized Semantic Parsing from Speech

• arxiv url: http://arxiv.org/abs/2406.06438v1
• Date: Mon, 10 Jun 2024 16:31:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 12:59:23.969207
• Title: Multimodal Contextualized Semantic Parsing from Speech
• Title（参考訳）: 音声からのマルチモーダル・コンテクスチュアライズド・セマンティック・パーシング
• Authors: Jordan Voas, Raymond Mooney, David Harwath,
• Abstract要約: 本研究では, 文脈環境における意味的パーシング(SPICE)について紹介する。 VG-SPICEデータセットは、音声交換から視覚的なシーングラフ構築を行うエージェントに挑戦するために開発された。 また、VG-SPICEで使用するために開発されたAViD-SP(Audio-Vision Dialogue Scene Scene)も紹介する。
• 参考スコア（独自算出の注目度）: 16.778093928141054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Semantic Parsing in Contextual Environments (SPICE), a task designed to enhance artificial agents' contextual awareness by integrating multimodal inputs with prior contexts. SPICE goes beyond traditional semantic parsing by offering a structured, interpretable framework for dynamically updating an agent's knowledge with new information, mirroring the complexity of human communication. We develop the VG-SPICE dataset, crafted to challenge agents with visual scene graph construction from spoken conversational exchanges, highlighting speech and visual data integration. We also present the Audio-Vision Dialogue Scene Parser (AViD-SP) developed for use on VG-SPICE. These innovations aim to improve multimodal information processing and integration. Both the VG-SPICE dataset and the AViD-SP model are publicly available.
• Abstract（参考訳）: 文脈環境におけるセマンティック・パーシング(SPICE)は,マルチモーダル入力を事前の文脈と統合することで,エージェントの文脈認識を強化するタスクである。 SPICEは、エージェントの知識を新しい情報で動的に更新し、人間のコミュニケーションの複雑さを反映する構造化された解釈可能なフレームワークを提供することによって、従来の意味解析を越えている。 VG-SPICEデータセットは,音声の会話交換や強調音声や視覚データの統合から視覚的なシーングラフ構築を行うエージェントに挑戦するために開発された。 また,VG-SPICEで使用するために開発されたAViD-SP(Audio-Vision Dialogue Scene Parser)について述べる。 これらのイノベーションは、マルチモーダル情報処理と統合の改善を目的としている。 VG-SPICEデータセットとAViD-SPモデルの両方が公開されている。

関連論文リスト

• From LLM to Conversational Agent: A Memory Enhanced Architecture with Fine-Tuning of Large Language Models [11.999652715036643]
  RAISE(Reasoning and Acting through Scratchpad and Examples)は、LLM(Large Language Models)を対話エージェントに統合する高度なアーキテクチャである。 会話の文脈と連続性を維持するために、人間の短期記憶と長期記憶をミラーリングするデュアルコンポーネントメモリシステムを備えている。
  論文  参考訳（メタデータ） (2024-01-05T12:26:46Z)
• DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
  マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。 提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。 様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
  論文  参考訳（メタデータ） (2024-01-02T07:40:12Z)
• VILAS: Exploring the Effects of Vision and Language Context in Automatic Speech Recognition [18.19998336526969]
  ViLaS(Vision and Language into Automatic Speech Recognition)は、CIF(Continuous Integration-and-fire)機構に基づく新しいマルチモーダルASRモデルである。 視覚と言語を統合することの効果を探るため、中国語と英語の両バージョンでマルチモーダルコンテキストキューを備えたマルチモーダルASRデータセットであるVSDialを開発した。
  論文  参考訳（メタデータ） (2023-05-31T16:01:20Z)
• A Unified Framework for Slot based Response Generation in a Multimodal Dialogue System [25.17100881568308]
  自然言語理解(NLU)と自然言語生成(NLG)は、すべての会話システムにおいて重要な要素である。 発話から必要なスロット値を抽出できるエンドツーエンドフレームワークを提案する。 事前学習したダイアロGPTを用いたマルチモーダル階層エンコーダを用いて、両方のタスクに対してより強力なコンテキストを提供する。
  論文  参考訳（メタデータ） (2023-05-27T10:06:03Z)
• Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension [81.47133615169203]
  本稿では,PrLMの逐次文脈化を超えて,発話間の包括的相互作用のための合成学習を提案する。 私たちは、モデルが対話ドメインに適応するのを助けるために、ドメイン適応型トレーニング戦略を採用しています。 実験の結果,提案手法は4つの公開ベンチマークデータセットにおいて,強力なPrLMベースラインを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-01-10T13:18:25Z)
• Support-set based Multi-modal Representation Enhancement for Video Captioning [121.70886789958799]
  サンプル間で共有されるセマンティックサブ空間において、リッチな情報をマイニングするためのサポートセットベースのマルチモーダル表現拡張(SMRE)モデルを提案する。 具体的には、サンプル間の基礎となる関係を学習し、意味的関連視覚要素を得るためのサポートセットを構築するためのサポートセット構築(SC)モジュールを提案する。 本研究では,SST(Semantic Space Transformation)モジュールを設計し,相対距離を制約し,マルチモーダルインタラクションを自己管理的に管理する。
  論文  参考訳（メタデータ） (2022-05-19T03:40:29Z)
• Back to the Future: Bidirectional Information Decoupling Network for Multi-turn Dialogue Modeling [80.51094098799736]
  ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。 BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。 異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
  論文  参考訳（メタデータ） (2022-04-18T03:51:46Z)
• Modeling Explicit Concerning States for Reinforcement Learning in Visual Dialogue [43.42833961578857]
  本稿では,各ラウンドにおける視覚内容と視覚対話を通しての関心事を表すために,ECS(Explicit Concerning States)を提案する。 ECSはマルチモーダル情報からモデル化され、明示的に表現される。 ECSに基づいて2つの直感的かつ解釈可能な報酬を定式化し、視覚対話エージェントが多様かつ情報的な視覚情報について会話することを奨励する。
  論文  参考訳（メタデータ） (2021-07-12T08:15:35Z)
• Dynamic Graph Representation Learning for Video Dialog via Multi-Modal Shuffled Transformers [89.00926092864368]
  音声・視覚シーン認識ダイアログタスクのためのセマンティクス制御型マルチモーダルシャッフルトランスフォーマー推論フレームワークを提案する。 また,フレーム内推論層を用いた動的シーングラフ表現学習パイプラインを提案する。 その結果,全ての評価指標について最先端の性能を示すことができた。
  論文  参考訳（メタデータ） (2020-07-08T02:00:22Z)
• Video-Grounded Dialogues with Pretrained Generation Language Models [88.15419265622748]
  我々は、ビデオ地上対話を改善するために、事前学習された言語モデルのパワーを利用する。 本稿では,シーケンス・ツー・グラウンドの対話タスクを,シーケンス・トゥ・グラウンドのタスクとして定式化するフレームワークを提案する。 我々のフレームワークは、微調整の言語モデルで複数のモダリティにまたがる依存関係をキャプチャできる。
  論文  参考訳（メタデータ） (2020-06-27T08:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。