論文の概要: Content Based Video Narration of Gameplay with Vision Language Models

• arxiv url: http://arxiv.org/abs/2608.14016v1
• Date: Fri, 14 Aug 2026 07:03:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.300026
• Title: Content Based Video Narration of Gameplay with Vision Language Models
• Title（参考訳）: 視覚言語モデルを用いたゲームプレイのコンテンツベースビデオナレーション
• Abstract要約: 本稿では、任意のゲームプレイ記録のための音声・エスポートスタイルの注釈を生成するコンテンツベースの動画ナレーションシステムを提案する。 汎用視覚言語モデル(VLM)とテキストから音声へのバックエンドを使用し、ゲーム固有の楽器やエンジンテレメトリ、タスク固有のトレーニングは行わない。 本稿では,リアルタイム戦略映像の定性的なケーススタディ,モザイクが1分間のイメージペイロードを9倍削減するコストモデル,および観測された障害モードの正当性を考慮したケーススタディについて報告する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Live game commentary is scarce: it exists for professional esports broadcasts and almost nowhere else. We present a content-based video narration system that produces spoken, esports-style commentary for arbitrary gameplay recordings using a general-purpose vision-language model (VLM) and a text-to-speech back end, with no game-specific instrumentation, no engine telemetry, and no task-specific training. Three mechanisms carry the system. Temporal mosaic packing arranges nine uniformly sampled frames into a single 3x3 image, letting an image-native VLM reason about motion while consuming one image payload per segment instead of nine. Context-conditioned prompting replays the K most recent narrations as assistant-role history, suppressing the repetition that dominates per-segment captioning of static scenes. Duration-conditioned generation and elastic alignment constrain narration length in the prompt, then time-scale or symmetrically pad the synthesized audio so each utterance fills its segment slot exactly, giving frame-accurate muxing without a forced aligner. The implementation supports either cloud TTS or a 6-bit quantized 4B-parameter on-device TTS model on Apple silicon, making the speech stage fully local. We report a qualitative case study on real-time strategy footage, a cost model showing the mosaic reduces per-minute image payloads by 9x, and a candid account of observed failure modes - hallucinated game state, resolution loss from mosaicking, and prosody artifacts from time-scaling. We release the system as a reproducible baseline, with an evaluation protocol for the quantitative study a full version will report.
• Abstract（参考訳）: ライブゲームの解説は乏しく、プロのeスポーツ放送のために存在しており、ほとんどどこにもない。 本稿では,汎用視覚言語モデル (VLM) とテキスト音声バックエンドを用いて,ゲーム固有の楽器やエンジンテレメトリ,タスク固有のトレーニングを伴わず,任意のゲームプレイ記録のための音声・エスポートスタイルの注釈を生成するコンテンツベースのビデオナレーションシステムを提案する。 システムには3つのメカニズムがある。 テンポラルモザイクパッキングは、9枚の一様にサンプリングされたフレームを1枚の3x3画像に配置し、画像ネイティブのVLMが9枚ではなく1枚ずつのイメージペイロードを消費しながら動きについて推論する。 文脈条件付きプロンプトは、Kの最近のナレーションを補助ロール履歴として再生し、静的シーンのセグメントごとのキャプションを支配する繰り返しを抑制する。 プロンプト中の時間条件付き生成および弾性アライメント制約ナレーション長、その後、時間スケールまたは対称的に合成音声をパッドし、各発話がそのセグメントスロットを正確に満たし、強制整合器を使わずにフレーム精度のムックスを与える。 この実装は、クラウドTSまたはAppleシリコン上の6ビット量子化4BパラメータオンデバイスTSモデルのいずれかをサポートし、音声ステージを完全にローカルにする。 本稿では,リアルタイム戦略映像の定性的なケーススタディ,モザイクが1分間のイメージペイロードを9倍に削減するコストモデル,そして幻覚ゲーム状態,モザイクの分解能の喪失,時間スケーリングによるプロソディカルアーティファクトなど,観測された障害モードの正当性を考慮したケーススタディについて報告する。 再現可能なベースラインとしてシステムをリリースし、定量的研究のための評価プロトコルをフルバージョンで報告する。

関連論文リスト

• Low-Latency Real-Time Audio Game Commentary System via LLM-Based Parallel Text Generation [59.178597408747095]
  本稿では,ライブゲームプレイビデオから直接音声コメントを生成する低遅延リアルタイム音声ゲーム解説システムを提案する。 従来のパイプラインはフレームをキャプチャし、テキストを生成し、発話毎に順次音声を合成し、音声再生が完了するまで次世代を要求しない。 本システムでは、音声再生と並行してテキスト生成を行い、複数の候補発話を事前にバッファリングすることで、再生境界での即時合成を可能にする。
  論文  参考訳（メタデータ） (2026-06-11T13:15:13Z)
• ReCA: Multi-Shot Long Video Extrapolation via Recursive Context Allocation [69.45329019089041]
  マルチショットビデオ外挿(マルチショットビデオ外挿、Multi-Shot Video Extrapolation、MSVE)は、観察されたフレームまたはクリップを撮影的に構造化された一連のショットに拡張するタスクである。 MSVEは、長ビデオの障害は単にコンテキスト長の制限ではなく、コンテキスト割り当ての障害であることを明らかにした。 本稿では,再帰的コンテキスト割当(Recursive Context Allocation, ReCA)を提案する。
  論文  参考訳（メタデータ） (2026-05-26T04:16:56Z)
• TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions [64.27159505605312]
  提案するOmni Captioningは,明示的なタイムスタンプによる連続的,きめ細かな,構造化された視覚的物語を生成するために設計された新しいタスクである。 密接なセマンティックカバレッジを確保するため、私たちは6次元構造スキーマを導入し、"script-like"キャプションを作成します。 大規模な実験により、TimeChat-Captioner-7BはGemini-2.5-Proを抜いて最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2026-02-09T14:21:58Z)
• TalkVerse: Democratizing Minute-Long Audio-Driven Video Generation [45.08904139559434]
  本研究では,音声駆動音声ビデオ生成のための大規模オープンコーパスであるTalkVerseを紹介する。 TalkVerseは230万の高解像度(720p/1080p)のオーディオビデオ同期クリップを提供する。 これらは透明なパイプラインを通じて60k時間以上のビデオから収集される。
  論文  参考訳（メタデータ） (2025-12-16T22:01:08Z)
• InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing [66.48064661467781]
  我々は、アイデンティティ、象徴的なジェスチャー、カメラ軌跡を維持するために参照を戦略的に保存する新しいパラダイムであるスパースフレームビデオダビングを導入する。 無限長長列ダビング用に設計されたストリーミングオーディオ駆動型ジェネレータであるInfiniteTalkを提案する。 HDTF、CelebV-HQ、EMTDデータセットの総合評価は、最先端の性能を示している。
  論文  参考訳（メタデータ） (2025-08-19T17:55:23Z)
• UGC-VideoCaptioner: An Omni UGC Video Detail Caption Model and New Benchmarks [13.205921806688147]
  現実世界のユーザー生成ビデオ、特にTikTokのようなプラットフォームでは、リッチでインターツウィンドなオーディオビジュアルコンテンツがしばしば表示される。 既存のビデオキャプションベンチマークとモデルは、シーンダイナミクス、話者意図、物語コンテキストを伝達する際のオーディオの重要な役割を見越して、主に視覚中心のままである。 これらの課題に対処するために,ショートフォームのユーザ生成ビデオの完全なキャプションに特化して設計された,新しいベンチマークおよびモデルフレームワークである-VideoCapを紹介した。
  論文  参考訳（メタデータ） (2025-07-15T14:08:29Z)
• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)
• Repetitive Activity Counting by Sight and Sound [110.36526333035907]
  本論文では,ビデオの繰り返し動作をカウントする。 映像コンテンツのみを解析する既存の作品と異なり、再生カウントプロセスに初めて対応する音を組み込んでいます。
  論文  参考訳（メタデータ） (2021-03-24T11:15:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。