論文の概要: Learning a Grammar Inducer from Massive Uncurated Instructional Videos

• arxiv url: http://arxiv.org/abs/2210.12309v1
• Date: Sat, 22 Oct 2022 00:22:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 14:48:57.237475
• Title: Learning a Grammar Inducer from Massive Uncurated Instructional Videos
• Title（参考訳）: 膨大な教師ビデオからの文法インデューサの学習
• Authors: Songyang Zhang, Linfeng Song, Lifeng Jin, Haitao Mi, Kun Xu, Dong Yu and Jiebo Luo
• Abstract要約: 映像支援文法帰納法は,映像情報を利用してより正確な構文文法を検索することを目的としている。 我々は手動で設計した機能なしでビデオスパン相関をよりよく学習できる新しいモデルを構築した。 我々のモデルは、ドメイン内のデータに基づいてトレーニングされた従来の最先端システムよりも高いF1スコアが得られる。
• 参考スコア（独自算出の注目度）: 118.7279072358029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video-aided grammar induction aims to leverage video information for finding more accurate syntactic grammars for accompanying text. While previous work focuses on building systems for inducing grammars on text that are well-aligned with video content, we investigate the scenario, in which text and video are only in loose correspondence. Such data can be found in abundance online, and the weak correspondence is similar to the indeterminacy problem studied in language acquisition. Furthermore, we build a new model that can better learn video-span correlation without manually designed features adopted by previous work. Experiments show that our model trained only on large-scale YouTube data with no text-video alignment reports strong and robust performances across three unseen datasets, despite domain shift and noisy label issues. Furthermore our model yields higher F1 scores than the previous state-of-the-art systems trained on in-domain data.
• Abstract（参考訳）: 映像支援文法帰納法は,映像情報を利用してより正確な構文文法を見つけることを目的としている。 従来の研究は,ビデオコンテンツとよく一致するテキストの文法を誘導するシステムの構築に重点を置いているが,テキストとビデオがゆるやかな対応しか持たないシナリオについて検討する。 このようなデータはネット上に多数存在し、弱い対応は言語習得における不確定性問題と類似している。 さらに,従来の作業で手作業で設計した機能を使わずに,ビデオスパン相関をよりよく学習できる新しいモデルを構築した。 実験によると、我々のモデルは、ドメインシフトやノイズの多いラベルの問題にもかかわらず、3つの目に見えないデータセットに対して、テキストビデオアライメントを伴わない大規模なYouTubeデータのみをトレーニングした。 さらに、本モデルは、ドメイン内データでトレーニングされた以前の最先端システムよりも高いf1スコアが得られる。

関連論文リスト

• Rethinking Video-Text Understanding: Retrieval from Counterfactually Augmented Data [19.210471935816273]
  本稿では,映像テキスト理解のための新しい評価タスク,すなわち,対実的拡張データ(RCAD)と新しいFeint6Kデータセットを提案する。 新しい評価タスクを成功させるためには、モデルはクロスフレーム推論からビデオの包括的理解を導き出さなければならない。 提案手法は,複数のビデオテキストモデルに適用した場合に,より識別的な動作埋め込みを学習し,Feint6Kの結果を改善する。
  論文  参考訳（メタデータ） (2024-07-18T01:55:48Z)
• In-Style: Bridging Text and Uncurated Videos with Style Transfer for Text-Video Retrieval [72.98185525653504]
  トレーニング中は、テキストクエリと未処理のWebビデオのみを併用する、未修正データによる新しい設定、テキストビデオ検索を提案する。 一般化を改善するために、複数のテキストスタイルで1つのモデルを訓練できることを示す。 提案手法の利点を実証するため,複数のデータセットを対象とした検索性能のモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-09-16T08:48:21Z)
• Models See Hallucinations: Evaluating the Factuality in Video Captioning [57.85548187177109]
  ビデオキャプションにおける実感の人間による評価を行い、2つの注釈付き実感データセットを収集する。 モデル生成文の57.0%に事実誤りがあり、この分野では深刻な問題であることを示す。 本稿では,映像キャプションの事実性評価において,従来の指標より優れていたモデルベース事実性指標FactVCを提案する。
  論文  参考訳（メタデータ） (2023-03-06T08:32:50Z)
• Robustness Analysis of Video-Language Models Against Visual and Language Perturbations [10.862722733649543]
  この研究は、様々な現実世界の摂動に対するビデオ言語ロバスト性モデルに関する最初の広範な研究である。 我々は90の異なる視覚と35の異なるテキスト摂動を利用する2つの大規模ベンチマークデータセットMSRVTT-PとYouCook2-Pを提案する。
  論文  参考訳（メタデータ） (2022-07-05T16:26:05Z)
• Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval [70.30052749168013]
  マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。 対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。 これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
  論文  参考訳（メタデータ） (2022-06-05T01:43:52Z)
• Align and Prompt: Video-and-Language Pre-training with Entity Prompts [111.23364631136339]
  ビデオと言語による事前トレーニングは、様々なダウンストリームタスクに有望な改善を示している。 Align and Prompt: クロスモーダルアライメントを改良した,効率的かつ効果的なビデオ・言語事前学習フレームワークを提案する。 私たちのコードと事前訓練されたモデルはリリースされます。
  論文  参考訳（メタデータ） (2021-12-17T15:55:53Z)
• Watch and Learn: Mapping Language and Noisy Real-world Videos with Self-supervision [54.73758942064708]
  我々は、明示的なアノテーションを使わずに、文章と騒々しいビデオスニペットのマッピングを学習することで、視覚と自然言語を理解するように機械に教える。 トレーニングと評価のために、多数のオンラインビデオとサブタイトルを含む新しいデータセットApartmenTourをコントリビュートする。
  論文  参考訳（メタデータ） (2020-11-19T03:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。