論文の概要: Grammar Induction from Visual, Speech and Text

• arxiv url: http://arxiv.org/abs/2410.03739v1
• Date: Tue, 1 Oct 2024 02:24:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 20:18:28.500653
• Title: Grammar Induction from Visual, Speech and Text
• Title（参考訳）: 視覚・音声・テキストからの文法誘導
• Authors: Yu Zhao, Hao Fei, Shengqiong Wu, Meishan Zhang, Min Zhang, Tat-seng Chua,
• Abstract要約: 本研究は、新しい視覚音声テキスト文法誘導タスク(textbfVAT-GI)を導入する。 言語文法がテキストを超えて存在するという事実に触発されて、テキストは文法帰納において支配的なモダリティであってはならないと論じる。 そこで本稿では,豊富なモーダル特化機能と補完機能を有効文法解析に活用した,ビジュアル・オーディオ・テキスト・インサイド・アウトサイド・オートエンコーダ(textbfVaTiora)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 91.98797120799227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grammar Induction could benefit from rich heterogeneous signals, such as text, vision, and acoustics. In the process, features from distinct modalities essentially serve complementary roles to each other. With such intuition, this work introduces a novel \emph{unsupervised visual-audio-text grammar induction} task (named \textbf{VAT-GI}), to induce the constituent grammar trees from parallel images, text, and speech inputs. Inspired by the fact that language grammar natively exists beyond the texts, we argue that the text has not to be the predominant modality in grammar induction. Thus we further introduce a \emph{textless} setting of VAT-GI, wherein the task solely relies on visual and auditory inputs. To approach the task, we propose a visual-audio-text inside-outside recursive autoencoder (\textbf{VaTiora}) framework, which leverages rich modal-specific and complementary features for effective grammar parsing. Besides, a more challenging benchmark data is constructed to assess the generalization ability of VAT-GI system. Experiments on two benchmark datasets demonstrate that our proposed VaTiora system is more effective in incorporating the various multimodal signals, and also presents new state-of-the-art performance of VAT-GI.
• Abstract（参考訳）: 文法誘導は、テキスト、視覚、音響などの豊富な異種信号の恩恵を受けることができる。 この過程において、異なるモジュラリティの特徴は本質的に相互に相補的な役割を果たす。 このような直感によって, 並列画像, テキスト, 音声入力から構成文法木を誘導する, 視覚・音声・音声・音声の文法帰納的タスク(「textbf{VAT-GI}」)を導入している。 言語文法が本文を超えて自然に存在するという事実に触発されて、本文は文法帰納において支配的なモダリティであってはならないと論じる。 したがって、VAT-GIの「emph{textless}」設定も導入し、タスクは視覚的および聴覚的入力のみに依存する。 この課題に対処するため,視覚音声の内面再帰的オートエンコーダ(\textbf{VaTiora})フレームワークを提案する。 さらに、VAT-GIシステムの一般化能力を評価するために、より困難なベンチマークデータを構築する。 2つのベンチマークデータセットを用いた実験により,VaTioraシステムは様々なマルチモーダル信号の取り込みに有効であり,また,VAT-GIの最先端性能を示す。

関連論文リスト

• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)
• Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
  本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。 実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-09-20T18:40:37Z)
• Video-aided Unsupervised Grammar Induction [108.53765268059425]
  ラベルのないテキストと対応するビデオの両方から構成を学習するビデオ支援文法インダクションについて検討する。 ビデオは、静的オブジェクトだけでなく、動詞句を誘導するのに有用なアクションや状態の変更を含む、さらに豊富な情報を提供します。 マルチモードコンパウンドPCFGモデル(MMC-PCFG)を提案し,これらの豊富な特徴を異なるモダリティから効果的に集約する。
  論文  参考訳（メタデータ） (2021-04-09T14:01:36Z)
• VLGrammar: Grounded Grammar Induction of Vision and Language [86.88273769411428]
  共同学習枠組みにおける視覚と言語の基底文法誘導について検討する。 本稿では,複合確率文脈自由文法(pcfgs)を用いて言語文法と画像文法を同時に誘導する手法であるvlgrammarを提案する。
  論文  参考訳（メタデータ） (2021-03-24T04:05:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。