論文の概要: Video-Language Understanding: A Survey from Model Architecture, Model Training, and Data Perspectives
- arxiv url: http://arxiv.org/abs/2406.05615v1
- Date: Sun, 9 Jun 2024 02:36:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 18:56:27.535387
- Title: Video-Language Understanding: A Survey from Model Architecture, Model Training, and Data Perspectives
- Title（参考訳）: ビデオ言語理解: モデルアーキテクチャ、モデルトレーニング、データの観点からの調査
- Authors: Thong Nguyen, Yi Bin, Junbin Xiao, Leigang Qu, Yicong Li, Jay Zhangjie Wu, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan,
- Abstract要約: 人間は環境を理解するために複数の感覚を使う。視覚と言語は、私たちの思考を簡単に伝え、周りの世界を知覚できるため、最も重要な感覚の2つだ。
ビデオ言語ペアは、我々の言語媒体と視覚環境の両方を時間的ダイナミクスで模倣できるので、ヒューマンライクな感覚でビデオ言語理解システムを構築することには、多くの関心が寄せられている。
- 参考スコア（独自算出の注目度）: 38.758137801255714
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Humans use multiple senses to comprehend the environment. Vision and language are two of the most vital senses since they allow us to easily communicate our thoughts and perceive the world around us. There has been a lot of interest in creating video-language understanding systems with human-like senses since a video-language pair can mimic both our linguistic medium and visual environment with temporal dynamics. In this survey, we review the key tasks of these systems and highlight the associated challenges. Based on the challenges, we summarize their methods from model architecture, model training, and data perspectives. We also conduct performance comparison among the methods, and discuss promising directions for future research.
- Abstract（参考訳）: 人間は環境を理解するために複数の感覚を使う。
視覚と言語は、私たちの思考を簡単に伝え、周りの世界を知覚できるため、最も重要な感覚の2つです。
ビデオ言語ペアは、我々の言語媒体と視覚環境の両方を時間的ダイナミクスで模倣できるので、ヒューマンライクな感覚でビデオ言語理解システムを構築することには、多くの関心が寄せられている。
本調査では,これらのシステムの主要な課題を概観し,関連する課題について紹介する。
課題に基づき、モデルアーキテクチャ、モデルトレーニング、データの観点からそれらの手法を要約する。
また,本手法の性能比較を行い,今後の研究の方向性について論じる。
関連論文リスト
- Contextual Emotion Recognition using Large Vision Language Models [0.6749750044497732]
現実の状況における人の明らかな感情の人間レベルの認識を達成することは、コンピュータビジョンにおいて未解決の課題である。
本稿では,近年の大規模視覚言語モデルによって実現された2つの主要なアプローチについて検討する。
私たちは、小さなデータセットでも微調整された視覚言語モデルが、従来のベースラインを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2024-05-14T23:24:12Z) - Learning to Model the World with Language [100.76069091703505]
人間と対話し、世界で行動するためには、エージェントは人々が使用する言語の範囲を理解し、それを視覚の世界に関連付ける必要がある。
私たちのキーとなるアイデアは、エージェントが将来を予測するのに役立つ信号として、このような多様な言語を解釈すべきである、ということです。
我々は、将来のテキストや画像表現を予測するマルチモーダル世界モデルを学ぶエージェントであるDynalangでこれをインスタンス化する。
論文 参考訳（メタデータ） (2023-07-31T17:57:49Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳（メタデータ） (2023-07-25T17:59:18Z) - Vision-Language Models in Remote Sensing: Current Progress and Future Trends [25.017685538386548]
視覚言語モデルは、画像とその関連するテキスト記述の推論を可能にし、基礎となるセマンティクスのより深い理解を可能にする。
視覚言語モデルは、RS画像の視覚的認識を超えて、意味的関係をモデル化し、画像の自然言語記述を生成することができる。
本稿では,リモートセンシングにおける視覚言語モデルの研究を包括的にレビューする。
論文 参考訳（メタデータ） (2023-05-09T19:17:07Z) - EC^2: Emergent Communication for Embodied Control [72.99894347257268]
エージェントはマルチモーダル・プレトレーニングを活用して、新しい環境でどのように振る舞うかを素早く学ぶ必要がある。
本稿では,数発のエンボディドコントロールのためのビデオ言語表現を事前学習するための新しいスキームであるEmergent Communication for Embodied Control (EC2)を提案する。
EC2は、タスク入力としてビデオとテキストの両方の従来のコントラスト学習手法を一貫して上回っている。
論文 参考訳（メタデータ） (2023-04-19T06:36:02Z) - Deep Neural Networks for Visual Reasoning [12.411844611718958]
機械は視覚的知覚と言語理解を用いて推論する能力を持つことが不可欠である。
近年のディープラーニングの進歩は、視覚シーンと言語の両方の洗練された表現を別々に構築してきた。
この論文は、推論をサポートするニューラルネットワークによる視覚と言語タスクの重要側面の活用と活用方法の理解を深めている。
論文 参考訳（メタデータ） (2022-09-24T12:11:00Z) - CLEAR: Improving Vision-Language Navigation with Cross-Lingual,
Environment-Agnostic Representations [98.30038910061894]
VLN(Vision-and-Language Navigation)タスクでは、エージェントが言語命令に基づいて環境をナビゲートする必要がある。
CLEAR: 言語横断表現と環境非依存表現を提案する。
我々の言語と視覚表現は、Room-to-Room and Cooperative Vision-and-Dialogue Navigationタスクにうまく転送できる。
論文 参考訳（メタデータ） (2022-07-05T17:38:59Z) - Explainable Semantic Space by Grounding Language to Vision with
Cross-Modal Contrastive Learning [3.441021278275805]
視覚における言語学習の基盤となる2ストリームモデルを設計する。
このモデルはまず、視覚的表現と言語表現をMS COCOデータセットに合わせることを学習する。
トレーニング後、このモデルの言語ストリームは、視覚的に接地されたセマンティック空間に概念を埋め込むことができるスタンドアロン言語モデルである。
論文 参考訳（メタデータ） (2021-11-13T19:54:15Z) - Vision and Language: from Visual Perception to Content Creation [100.36776435627962]
言語へのビジョン"は、おそらく過去5年で最も人気のあるトピックの1つである。
本稿は、これらの2つの側面に沿った最近の進歩、すなわち「言語へのビジョン」と「視覚への言語」を概観する。
論文 参考訳（メタデータ） (2019-12-26T14:07:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。