論文の概要: StreamDuo: A Live Commentator and a Research Agent for Unseen Games
- arxiv url: http://arxiv.org/abs/2611.01120v1
- Date: Sat, 31 Oct 2026 17:08:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-13 07:54:59.67953
- Title: StreamDuo: A Live Commentator and a Research Agent for Unseen Games
- Title(参考訳): StreamDuo: ライブコメンテーターで、見えないゲームの研究エージェント
- Abstract要約: 我々は、あるゲームでトレーニングされたモデルが今まで見たことのないゲームにコメントするクロスゲームストリーミングコメンタリーについて研究する。
本稿では,トレーニング可能なコメンテータとフリーズ研究エージェントを組み合わせて,プレイ中のゲームのwikiを読み取るStreamDuoを提案する。
- 参考スコア(独自算出の注目度): 24.141601286980617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Streaming video LLMs can now commentate live gameplay, but they are trained and tested on the same games. We study cross-game streaming commentary, in which a model trained on one game commentates games it has never seen, and find that current commentators transfer their timing but not their knowledge of the game world. We propose StreamDuo, which pairs a trainable commentator with a frozen research agent that reads the wiki of the game being played. When the commentator sees something it cannot name, it sends the current frames, and the research agent returns a few wiki entries two seconds later while the stream continues. We train only the commentator, on a single game, in two stages. Information-gain labels teach it to ask only where an answer would help it say what the human caster said, and on-policy self-distillation from a copy of itself that sees the ideal answer teaches it to use noisy answers. Trained on Baldur's Gate 3 and tested on ten unseen games, StreamDuo raises entity recall from 0.082 to 0.116 over Proact-VL trained on the same data, cuts source-game leakage from 9.9% to 1.0%, and achieves the best timing and the highest judged liveliness and overall quality among streaming models.
- Abstract(参考訳): ストリーミングビデオ LLM はライブゲームプレイにコメントできるが、同じゲームでトレーニングされ、テストされる。
我々は,あるゲームでトレーニングされたモデルが今まで見たことのないゲームにコメントするクロスゲームストリーミングコメンテータについて検討し,現在のコメンテーターがゲーム世界に関する知識ではなく,そのタイミングを伝達していることを見出した。
本稿では,トレーニング可能なコメンテータとフリーズ研究エージェントを組み合わせて,プレイ中のゲームのwikiを読み取るStreamDuoを提案する。
コメンテーターが名前を付けることができないものを見ていると、現在のフレームが送られ、研究員はストリームが続く間、2秒後にいくつかのwikiエントリを返す。
私たちはコメンテーターのみを2段階のゲームでトレーニングします。
インフォメーション・ギャイン・レーベルは、答えが人間のキャスターが何を言ったかを伝えるのに役に立つかだけを尋ねるよう教える。
バルドゥールのゲート3でトレーニングされ、10の未確認ゲームでテストされたStreamDuoは、同一データに基づいてトレーニングされたProact-VLに対して、エンティティリコールを0.082から0.116に引き上げ、ソースゲームのリークを9.9%から1.0%に削減し、最高のタイミングと判断されたライブラインとストリーミングモデル全体の品質を達成する。
関連論文リスト
- DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language Model [24.141601286980617]
ライブのエススポーツ放送では、どのカメラが空を飛ぶかを選ぶ監督と、その選択について話すキャスターが必要です。
我々は,各プレイヤーの生のカメラをモデルが受け取り,過去から直接的かつコメントしなくてはならないライブ放送制作について検討する。
私たちはDirCastを紹介します。DirCastは、両方を実行する単一のストリーミングビデオ言語モデルです。
論文 参考訳(メタデータ) (2026-10-22T16:09:57Z) - PUBG Ally: A Conversational Embodied Agent as an AI Teammate [21.662597354641274]
BATTLEGROUNDSは、推論し、自律的に行動し、プレイヤーと共に音声対応のチームメイトとしてプレーすることができる。
言語モデルエージェントは、制御されたインターフェースを使用して、ゲーム情報を調べ、プレイヤーのスピーチを解釈し、コンテキストを維持し、何を言うべきかを決定し、ハイレベルなアクション選択を発行する。
リアルプレイヤーがAllyと一緒にプレイし、ゲームプレイ、プレイヤーのスピーチ、エージェントの決定、ツールの使用、アクション、プレイヤーのフィードバックを記録します。
論文 参考訳(メタデータ) (2026-09-24T14:06:28Z) - Low-Latency Real-Time Audio Game Commentary System via LLM-Based Parallel Text Generation [59.178597408747095]
本稿では,ライブゲームプレイビデオから直接音声コメントを生成する低遅延リアルタイム音声ゲーム解説システムを提案する。
従来のパイプラインはフレームをキャプチャし、テキストを生成し、発話毎に順次音声を合成し、音声再生が完了するまで次世代を要求しない。
本システムでは、音声再生と並行してテキスト生成を行い、複数の候補発話を事前にバッファリングすることで、再生境界での即時合成を可能にする。
論文 参考訳(メタデータ) (2026-06-11T13:15:13Z) - Don't Pause! Every prediction matters in a streaming video [55.509551643600794]
一般的なストリーミング知覚とアシスト機能を評価するマルチターンプロアクティブクエリを特徴とするSPOT-Benchを提案する。
SPOT-BenchにはTimeliness-F1が付属している。
i)オフラインモデルは、確実にイベントを検知するが、スパム予測は失敗する; (ii) サイレントをトレーニングした後、スパムを減らし、応答を低下させる; (iii) ストリーミングビデオの半分は応答を期待しない。
論文 参考訳(メタデータ) (2026-04-27T11:07:03Z) - Towards Automatic Soccer Commentary Generation with Knowledge-Enhanced Visual Reasoning [18.388733074404403]
サッカー解説は観客のサッカーゲーム観戦体験を高める上で重要な役割を担っている。
サッカーの自動コメント生成における先行研究は、通常、匿名のライブテキストコメンタリーを生成するエンド・ツー・エンド方式を採用する。
本稿では,サッカー解説生成のための2段階モデルであるGameSightを提案する。
論文 参考訳(メタデータ) (2026-03-31T02:24:32Z) - MatchTime: Towards Automatic Soccer Game Commentary Generation [52.431010585268865]
観客の視聴体験を改善するために,自動サッカーゲーム解説モデルの構築を検討する。
まず、既存のデータセットでよく見られるビデオテキストのミスアライメントを観察し、49試合のタイムスタンプを手動でアノテートする。
第2に,既存のデータセットを自動的に修正・フィルタリングするマルチモーダル時間アライメントパイプラインを提案する。
第3に、キュレートされたデータセットに基づいて、MatchVoiceという自動コメント生成モデルをトレーニングします。
論文 参考訳(メタデータ) (2024-06-26T17:57:25Z) - SoccerNet-Caption: Dense Video Captioning for Soccer Broadcasts
Commentaries [71.44210436913029]
本稿では,単一のタイムスタンプを固定したテキストコメンタリーの生成に着目した,高密度動画キャプションの新たな課題を提案する。
サッカー放送の715.9時間に約37万のタイムスタンプによるコメントからなる挑戦的なデータセットを提示する。
論文 参考訳(メタデータ) (2023-04-10T13:08:03Z) - Going for GOAL: A Resource for Grounded Football Commentaries [66.10040637644697]
本稿では,GrOunded footbAlLコメンタリー(GOAL)について紹介する。
本稿では,フレームリオーダー,モーメント検索,ライブコメンタリー検索,プレイバイプレイのライブコメンタリー生成といったタスクに対して,最先端のベースラインを提供する。
その結果,ほとんどのタスクにおいてSOTAモデルは合理的に機能することがわかった。
論文 参考訳(メタデータ) (2022-11-08T20:04:27Z) - Fighting Game Commentator with Pitch and Loudness Adjustment Utilizing
Highlight Cues [2.053986437152018]
本稿では,戦闘ゲームにおけるリアルタイムゲーム解説のためのコメンテータを提案する。
このコメンタリーは、ゲームプレイ中のシーンを分析して得られるハイライトキューを入力として考慮し、コメンタリーのピッチと大声を調節する。
本研究では,対戦ゲームにおけるパイロット実験を行い,ゲームハイライトのレベルに応じて大音量の調整を行うことにより,ゲームプレイのエンターテイメントを向上できることを示す。
論文 参考訳(メタデータ) (2021-08-18T12:26:21Z) - Moment-to-moment Engagement Prediction through the Eyes of the Observer:
PUBG Streaming on Twitch [0.9281671380673304]
我々は,有名なバトルロイヤルゲームPlayerUnknown's Battlegroundsから収集されたデータに基づいて,視聴者のエンゲージメントを予測するモデルを構築した。
特に,5つの人気ストリーマーの数百試合から視聴者のチャットログとゲーム内テレメトリデータを収集する。
私たちの重要な発見は、40のゲームプレイ機能のみにトレーニングされたエンゲージメントモデルが、平均で80%、最高で84%のアキュラシーに達することを示しています。
論文 参考訳(メタデータ) (2020-08-17T10:40:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。