Fugu-MT 論文翻訳(概要): Pegasus-v1 Technical Report

論文の概要: Pegasus-v1 Technical Report

arxiv url: http://arxiv.org/abs/2404.14687v1
Date: Tue, 23 Apr 2024 02:32:57 GMT
ステータス: 翻訳完了
システム内更新日: 2024-04-24 15:31:26.754336
Title: Pegasus-v1 Technical Report
Title（参考訳）: Pegasus-v1 技術報告
Abstract要約: Pegasus-1は、自然言語によるビデオコンテンツ理解とインタラクションに特化したマルチモーダル言語モデルである。本稿では,Pegasus-1のアーキテクチャ,トレーニング戦略を概説し,ビデオ会話,ゼロショットビデオ応答,ビデオ時間化のベンチマークでその性能を概説する。
参考スコア（独自算出の注目度）: 18.436050406541177
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This technical report introduces Pegasus-1, a multimodal language model specialized in video content understanding and interaction through natural language. Pegasus-1 is designed to address the unique challenges posed by video data, such as interpreting spatiotemporal information, to offer nuanced video content comprehension across various lengths. This technical report overviews Pegasus-1's architecture, training strategies, and its performance in benchmarks on video conversation, zero-shot video question answering, and video summarization. We also explore qualitative characteristics of Pegasus-1 , demonstrating its capabilities as well as its limitations, in order to provide readers a balanced view of its current state and its future direction.
Abstract（参考訳）: 本稿では,映像コンテンツ理解と自然言語によるインタラクションに特化したマルチモーダル言語モデルPegasus-1を紹介する。 Pegasus-1は、時空間情報を解釈するなど、ビデオデータによって引き起こされる固有の課題に対処し、様々な長さにわたるニュアンスのあるビデオコンテンツ理解を提供するように設計されている。この技術レポートは、Pegasus-1のアーキテクチャ、トレーニング戦略、およびビデオ会話、ゼロショットビデオ質問応答、およびビデオ要約に関するベンチマークのパフォーマンスを概観する。我々はまたペガサス1号の定性的特性を探求し、その能力と限界を実証し、読者に現在の状態と今後の方向性のバランスのとれたビューを提供する。

関連論文リスト

EduVQA: Benchmarking AI-Generated Video Quality Assessment for Education [21.304581210099045]
AI生成ビデオ(AIGV)の品質を評価するための最初のベンチマークデータセットと評価フレームワークであるEduAIGV-1kを紹介する。 EduAIGV-1kには、113のペダギー指向のプロンプトを使用して、10の最先端のテキスト・トゥ・ビデオ(T2V)モデルによって生成された1,130の短いビデオが含まれている。
論文参考訳（メタデータ） (2026-03-03T15:05:27Z)
TUNA: Comprehensive Fine-grained Temporal Understanding Evaluation on Dense Dynamic Videos [26.97196583891564]
本稿では,高密度ダイナミックビデオの微粒化理解のための時間指向ベンチマークTUNAを紹介する。我々のTUNAは様々なビデオシナリオとダイナミックスを備えており、解釈可能で堅牢な評価基準によって支援されている。この評価は、アクション記述の制限、多目的理解の不十分、カメラモーションに対する感度の低下など、ビデオの時間的理解における重要な課題を明らかにする。
論文参考訳（メタデータ） (2025-05-26T15:24:06Z)
SAMA: Towards Multi-Turn Referential Grounded Video Chat with Large Language Models [80.3895950009792]
ビデオにおけるきめ細かい時間的理解の獲得は、現在のビデオ大マルチモデル(ビデオLMM)にとって大きな課題である。私たちは、データセット、モデル、ベンチマークの3つの中核的な側面に貢献しています。まず,ビデオ理解,グラウンドニング,マルチターンビデオチャットの共用学習を実現するため、15Kビデオからなる大規模データセットであるSAMA-239Kを紹介する。第2に,広義の時間的コンテキストアグリゲータとセグメンションモデルを組み合わせたSAMAモデルを提案する。
論文参考訳（メタデータ） (2025-05-24T18:13:16Z)
AUTV: Creating Underwater Video Datasets with Pixel-wise Annotations [27.609227883183713]
AUTVは,海洋ビデオデータをピクセル単位のアノテーションで合成するフレームワークである。 2つのビデオデータセットを構築することで、このフレームワークの有効性を実証する。
論文参考訳（メタデータ） (2025-03-17T05:18:20Z)
T2V-CompBench: A Comprehensive Benchmark for Compositional Text-to-video Generation [55.57459883629706]
コンポジションテキスト・ビデオ生成に関する最初の体系的研究を行う。合成テキスト・ビデオ生成に適した最初のベンチマークであるT2V-CompBenchを提案する。
論文参考訳（メタデータ） (2024-07-19T17:58:36Z)
WorldGPT: A Sora-Inspired Video AI Agent as Rich World Models from Text and Image Inputs [53.21307319844615]
本稿では、Soraにインスパイアされたマルチモーダル学習の力を活用して、熟練した世界モデルフレームワークを構築する革新的なビデオ生成AIエージェントを提案する。このフレームワークには、プロンプトエンハンサーとフルビデオ翻訳という2つの部分が含まれている。
論文参考訳（メタデータ） (2024-03-10T16:09:02Z)
Towards A Better Metric for Text-to-Video Generation [102.16250512265995]
生成モデルは高品質のテキスト、画像、ビデオの合成において顕著な能力を示した。新たな評価パイプラインであるText-to-Video Score(T2VScore)を導入する。本尺度は,(1)テキスト記述における映像の忠実度を精査するテキスト・ビデオ・アライメント,(2)ビデオ品質,(2)ビデオ全体の製作口径を専門家の混合で評価するビデオ品質の2つの重要な基準を統合した。
論文参考訳（メタデータ） (2024-01-15T15:42:39Z)
Shot2Story20K: A New Benchmark for Comprehensive Understanding of Multi-shot Videos [58.13927287437394]
マルチショットビデオ理解ベンチマークShot2Story20Kに、詳細なショットレベルのキャプションと包括的ビデオ要約を付加する。予備実験は、長大かつ包括的なビデオ要約を生成するためのいくつかの課題を示している。
論文参考訳（メタデータ） (2023-12-16T03:17:30Z)
Let's Think Frame by Frame with VIP: A Video Infilling and Prediction Dataset for Evaluating Video Chain-of-Thought [62.619076257298204]
我々は、少数のビデオ推論のシーケンシャルな理解として、フレーミングビデオ推論を動機付けている。 VIPは、ビデオチェーンオブ思考を通してモデルの推論能力を調べるために設計された、推論時の課題データセットである。我々は、VIP上でGPT-4、GPT-3、VICUNAをベンチマークし、複雑なビデオ推論タスクのパフォーマンスギャップを実証し、今後の作業を促進する。
論文参考訳（メタデータ） (2023-05-23T10:26:42Z)
A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In Zero Shot [67.00455874279383]
そこで本研究では,自然言語による記述を生成するために長編動画を音声化し,生成したストーリーの映像理解タスクを実行することを提案する。提案手法は,ゼロショットであるにもかかわらず,ビデオ理解のための教師付きベースラインよりもはるかに優れた結果が得られる。ストーリー理解ベンチマークの欠如を緩和するため,我々は,説得戦略の識別に関する計算社会科学における重要な課題に関する最初のデータセットを公開している。
論文参考訳（メタデータ） (2023-05-16T19:13:11Z)
Video as Conditional Graph Hierarchy for Multi-Granular Question Answering [80.94367625007352]
ビデオはフレームシーケンスで表現されるが、視覚要素はシーケンシャルではなく、セマンティック空間において階層的である。本稿では,異なる粒度の視覚的事実をレベルワイドに織り込む条件付きグラフ階層として,動画をモデル化することを提案する。
論文参考訳（メタデータ） (2021-12-12T10:35:19Z)
Bridging Vision and Language from the Video-to-Text Perspective: A Comprehensive Review [1.0520692160489133]
本稿では,ビデオ・トゥ・テキスト問題に対する最先端技術の分類と解説を行う。主なvideo-to-textメソッドとそのパフォーマンス評価方法をカバーする。最先端の技術は、ビデオ記述の生成または取得における人間のようなパフォーマンスを達成するには、まだ長い道のりです。
論文参考訳（メタデータ） (2021-03-27T02:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。