論文の概要: Movie2Story: A framework for understanding videos and telling stories in the form of novel text

• arxiv url: http://arxiv.org/abs/2412.14965v2
• Date: Sat, 11 Jan 2025 14:08:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:29:51.553095
• Title: Movie2Story: A framework for understanding videos and telling stories in the form of novel text
• Title（参考訳）: Movie2Story: ビデオを理解し、新しいテキスト形式で物語を伝えるためのフレームワーク
• Authors: Kangning Li, Zheyang Jia, Anyu Ying,
• Abstract要約: 補助情報に富んだシナリオにおけるテキスト生成能力を評価するための新しいベンチマークを提案する。 本研究は,高精度な補助情報の提供を確実にするための,革新的な自動データセット生成手法を提案する。 本実験により, 提案した評価指標に基づいて, 現在のMLLM(Multi-modal Large Language Models)が準最適に動作していることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In recent years, large-scale models have achieved significant advancements, accompanied by the emergence of numerous high-quality benchmarks for evaluating various aspects of their comprehension abilities. However, most existing benchmarks primarily focus on spatial understanding in static image tasks. While some benchmarks extend evaluations to temporal tasks, they fall short in assessing text generation under complex contexts involving long videos and rich auxiliary information. To address this limitation, we propose a novel benchmark: the Multi-modal Story Generation Benchmark (MSBench), designed to evaluate text generation capabilities in scenarios enriched with auxiliary information. Our work introduces an innovative automatic dataset generation method to ensure the availability of accurate auxiliary information. On one hand, we leverage existing datasets and apply automated processes to generate new evaluation datasets, significantly reducing manual efforts. On the other hand, we refine auxiliary data through systematic filtering and utilize state-of-the-art models to ensure the fairness and accuracy of the ground-truth datasets. Our experiments reveal that current Multi-modal Large Language Models (MLLMs) perform suboptimally under the proposed evaluation metrics, highlighting significant gaps in their capabilities. To address these challenges, we propose a novel model architecture and methodology to better handle the overall process, demonstrating improvements on our benchmark.
• Abstract（参考訳）: 近年、大規模モデルは、その理解能力の様々な側面を評価するための多くの高品質なベンチマークが出現し、大きな進歩を遂げている。 しかし、既存のベンチマークのほとんどは、主に静的イメージタスクにおける空間的理解に焦点を当てている。 一部のベンチマークでは、評価を時間的タスクに拡張するが、長いビデオや豊富な補助情報を含む複雑なコンテキスト下でのテキスト生成の評価には不足している。 この制限に対処するために、補助情報に富んだシナリオにおけるテキスト生成能力を評価するために設計されたマルチモーダルストーリー生成ベンチマーク(MSBench)という新しいベンチマークを提案する。 本研究は,高精度な補助情報の提供を確実にするための,革新的な自動データセット生成手法を提案する。 一方、既存のデータセットを活用し、自動化されたプロセスを適用して新しい評価データセットを生成し、手作業を大幅に削減する。 一方,本研究では,体系的なフィルタリングによる補助データを精査し,現状のモデルを用いて,地中トラスデータセットの公平性と精度を確保する。 実験の結果,従来のMLLM(Multi-modal Large Language Models)は,提案した評価指標に基づいてサブ最適に動作し,その能力に重大なギャップがあることが判明した。 これらの課題に対処するために、私たちは、ベンチマークの改善を実証し、プロセス全体の処理をより良くするための新しいモデルアーキテクチャと方法論を提案します。

関連論文リスト

• BENCHAGENTS: Automated Benchmark Creation with Agent Interaction [16.4783894348333]
  BENCHAGENTSは,大規模言語モデル(LLM)を体系的に活用し,複雑な機能のためのベンチマーク作成を自動化するフレームワークである。 我々は、BENCHAGENTSを用いて、テキスト生成時の計画と制約満足度に関連する機能を評価するベンチマークを作成する。 次に、これらのベンチマークを使用して、7つの最先端モデルを調査し、共通の障害モードとモデルの違いに関する新たな洞察を抽出する。
  論文  参考訳（メタデータ） (2024-10-29T22:56:18Z)
• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• Improving embedding with contrastive fine-tuning on small datasets with expert-augmented scores [12.86467344792873]
  提案手法では,専門的なスコアから派生したソフトラベルをファインチューン埋め込みモデルに適用する。 オンラインショッピングサイトと8つのエキスパートモデルからQ&Aデータセットを用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2024-08-19T01:59:25Z)
• Scaling Up Video Summarization Pretraining with Large Language Models [73.74662411006426]
  本稿では,大規模ビデオ要約データセットを生成するための,自動化されたスケーラブルなパイプラインを提案する。 我々は既存のアプローチの限界を分析し、それらに効果的に対処する新しいビデオ要約モデルを提案する。 我々の研究は、プロが注釈付けした高品質の要約を持つ1200本の長編ビデオを含む新しいベンチマークデータセットも提示した。
  論文  参考訳（メタデータ） (2024-04-04T11:59:06Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
  これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。 我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。 そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
  論文  参考訳（メタデータ） (2023-10-17T17:50:46Z)
• EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
  編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。 InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。 我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2022-09-27T12:26:05Z)
• MuLD: The Multitask Long Document Benchmark [4.835289158553091]
  我々は1万以上のトークンからなる文書のみからなる新しい長期文書ベンチマークを示す。 文脈長の増大したモデルでは,課題の解決がより容易であることを示す。
  論文  参考訳（メタデータ） (2022-02-15T12:42:55Z)
• Data-to-text Generation with Macro Planning [61.265321323312286]
  本稿では,マクロ計画段階のニューラルモデルと,従来の手法を連想させる生成段階を提案する。 提案手法は, 自動評価と人的評価の両面で, 競争ベースラインを上回っている。
  論文  参考訳（メタデータ） (2021-02-04T16:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。