論文の概要: Video as the New Language for Real-World Decision Making

• arxiv url: http://arxiv.org/abs/2402.17139v1
• Date: Tue, 27 Feb 2024 02:05:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 18:00:13.963966
• Title: Video as the New Language for Real-World Decision Making
• Title（参考訳）: 実世界の意思決定のための新しい言語としてのビデオ
• Authors: Sherry Yang, Jacob Walker, Jack Parker-Holder, Yilun Du, Jake Bruce, Andre Barreto, Pieter Abbeel, Dale Schuurmans
• Abstract要約: ビデオデータは、言語で表現しにくい物理世界に関する重要な情報をキャプチャする。 ビデオは、インターネットの知識を吸収し、多様なタスクを表現できる統一インターフェースとして機能する。 ロボット工学、自動運転、科学といった分野における大きなインパクトの機会を特定します。
• 参考スコア（独自算出の注目度）: 100.68643056416394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Both text and video data are abundant on the internet and support large-scale self-supervised learning through next token or frame prediction. However, they have not been equally leveraged: language models have had significant real-world impact, whereas video generation has remained largely limited to media entertainment. Yet video data captures important information about the physical world that is difficult to express in language. To address this gap, we discuss an under-appreciated opportunity to extend video generation to solve tasks in the real world. We observe how, akin to language, video can serve as a unified interface that can absorb internet knowledge and represent diverse tasks. Moreover, we demonstrate how, like language models, video generation can serve as planners, agents, compute engines, and environment simulators through techniques such as in-context learning, planning and reinforcement learning. We identify major impact opportunities in domains such as robotics, self-driving, and science, supported by recent work that demonstrates how such advanced capabilities in video generation are plausibly within reach. Lastly, we identify key challenges in video generation that mitigate progress. Addressing these challenges will enable video generation models to demonstrate unique value alongside language models in a wider array of AI applications.
• Abstract（参考訳）: テキストデータもビデオデータもインターネット上で豊富であり、次のトークンやフレーム予測を通じて大規模な自己教師型学習をサポートする。 しかし、それらは平等に活用されていない:言語モデルは現実世界に大きな影響を与え、ビデオ生成はメディアエンターテイメントに限られている。 しかしビデオデータは、言語で表現するのが難しい物理的世界に関する重要な情報をキャプチャする。 このギャップに対処するため,我々は,実世界の課題を解決するためにビデオ生成を拡張する機会を過小評価している。 言語と同じく、ビデオはインターネットの知識を吸収し、多様なタスクを表現できる統一インターフェースとして機能する。 さらに,映像生成は,言語モデルと同様に,インコンテキスト学習や計画,強化学習といった手法を用いて,プランナー,エージェント,計算エンジン,環境シミュレータとして機能することを示す。 我々は、ロボット工学、自動運転、科学といった分野における大きなインパクトの機会を特定し、ビデオ生成におけるこのような高度な能力がいかに手の届く範囲内にあるかを示す最近の研究で支持されている。 最後に、進捗を緩和するビデオ生成における重要な課題を特定します。 これらの課題に対処することで、ビデオ生成モデルは、幅広いaiアプリケーションにおいて、言語モデルとともにユニークな価値を示すことができる。

関連論文リスト

• Towards Holistic Language-video Representation: the language model-enhanced MSR-Video to Text Dataset [4.452729255042396]
  より堅牢で総合的な言語とビデオの表現が、ビデオの理解を前進させる鍵だ。 現在の平易で単純なテキスト記述と、言語ビデオタスクに対する視覚のみの焦点は、現実世界の自然言語ビデオ検索タスクにおいて限られた能力をもたらす。 本稿では,ビデオ言語データセットを自動的に拡張し,モダリティと文脈認識を向上する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T20:16:17Z)
• Towards Multi-Task Multi-Modal Models: A Video Generative Perspective [5.495245220300184]
  この論文は、さまざまな条件下でビデオやその他のモダリティを生成するマルチタスクモデルを構築するために、我々の努力を年代記している。 我々は、視覚的観察と解釈可能な語彙の双方向マッピングのための新しいアプローチを公表する。 私たちのスケーラブルなビジュアルトークン表現は、生成、圧縮、理解タスクで有益であることが証明されます。
  論文  参考訳（メタデータ） (2024-05-26T23:56:45Z)
• A Survey on Generative AI and LLM for Video Generation, Understanding, and Streaming [26.082980156232086]
  生成人工知能(Generative AI)と大規模言語モデル(LLM)は、ビデオ技術の分野を変えつつある。 この論文は、高度にリアルなビデオ制作におけるこれらの技術の革新的利用を強調している。 ビデオストリーミングの分野では、LLMがより効率的でユーザ中心のストリーミング体験にどのように貢献するかを論じる。
  論文  参考訳（メタデータ） (2024-01-30T14:37:10Z)
• Learning to Model the World with Language [100.76069091703505]
  人間と対話し、世界で行動するためには、エージェントは人々が使用する言語の範囲を理解し、それを視覚の世界に関連付ける必要がある。 私たちのキーとなるアイデアは、エージェントが将来を予測するのに役立つ信号として、このような多様な言語を解釈すべきである、ということです。 我々は、将来のテキストや画像表現を予測するマルチモーダル世界モデルを学ぶエージェントであるDynalangでこれをインスタンス化する。
  論文  参考訳（メタデータ） (2023-07-31T17:57:49Z)
• InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation [90.71796406228265]
  InternVidは大規模なビデオ中心のマルチモーダルデータセットで、強力で転送可能なビデオテキスト表現の学習を可能にする。 InternVidデータセットは700万本以上のビデオが760万時間近く持続し、合計4.1Bワードの詳細な記述を伴う234万本のビデオクリップが生成される。
  論文  参考訳（メタデータ） (2023-07-13T17:58:32Z)
• A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In Zero Shot [67.00455874279383]
  そこで本研究では,自然言語による記述を生成するために長編動画を音声化し,生成したストーリーの映像理解タスクを実行することを提案する。 提案手法は,ゼロショットであるにもかかわらず,ビデオ理解のための教師付きベースラインよりもはるかに優れた結果が得られる。 ストーリー理解ベンチマークの欠如を緩和するため,我々は,説得戦略の識別に関する計算社会科学における重要な課題に関する最初のデータセットを公開している。
  論文  参考訳（メタデータ） (2023-05-16T19:13:11Z)
• Video Generation from Text Employing Latent Path Construction for Temporal Modeling [70.06508219998778]
  ビデオ生成は、機械学習とコンピュータビジョンの分野における最も困難なタスクの1つである。 本稿では,映像生成の条件形式であるテキストから映像生成の問題に取り組む。 自然言語文からのビデオ生成が人工知能に重要な影響を与えると考えている。
  論文  参考訳（メタデータ） (2021-07-29T06:28:20Z)
• VidLanKD: Improving Language Understanding via Video-Distilled Knowledge Transfer [76.3906723777229]
  言語理解を改善するためのビデオ言語知識蒸留法VidLanKDを提案する。 我々は、ビデオテキストデータセット上でマルチモーダル教師モデルを訓練し、その知識をテキストデータセットを用いて学生言語モデルに伝達する。 我々の実験では、VidLanKDはテキストのみの言語モデルや発声モデルよりも一貫した改善を実現している。
  論文  参考訳（メタデータ） (2021-07-06T15:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。