論文の概要: Live Assistant: Learning Whether, When, and Whom to Assist in Real-World Live Social Streams

• arxiv url: http://arxiv.org/abs/2609.27303v1
• Date: Wed, 23 Sep 2026 03:36:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.86062
• Title: Live Assistant: Learning Whether, When, and Whom to Assist in Real-World Live Social Streams
• Title（参考訳）: ライブアシスタント: 現実世界のソーシャルストリームで、いつ、誰がアシストするかを学習する
• Abstract要約: ライブストリームインタラクションを4つの複合決定として定式化する,複合開始型ロールコンディショニング支援のためのフレームワークであるLiveassistantを紹介する。 Liveassistantは71.14の状態精度、72.67の受信精度、58.41のタスク精度に到達し、一般的なストリーミングと一般的なマルチモーダルベースラインよりも一貫した利得がある。
• 参考スコア（独自算出の注目度）: 68.03407542960686
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Livestreams are long-lasting interactive environments where audiovisual content, viewer activity, host behavior, and platform signals evolve together, creating assistance needs that emerge from the stream itself. We introduce \liveassistant, a framework for mixed-initiative, role-conditioned assistance that formulates livestream interaction as four coupled decisions: \textbf{whether to act, when to act, whom to address, and what to communicate}. At each 10-second interval, one autoregressive policy consumes native audio and video with synchronized comments, gifts, viewer dynamics, and room metadata, then selects \textsc{OBS}, \textsc{MEM}, or \textsc{ANS}. \textsc{OBS} remains silent, \textsc{MEM} records a private semantic update, and \textsc{ANS} specifies a recipient, task, and grounded message. To support this task, we build a trajectory engine that reconstructs real livestream sessions into structured causal supervision, yielding over 320 hours of optimization trajectories and a human-reviewed benchmark of 275 clips and 13,812 decision intervals. We train the policy with Marker-Aware Multiturn Supervised Fine-Tuning (MA-MSFT), which strengthens sparse structured decisions, followed by Streaming Multiturn GSPO (SM-GSPO), which optimizes self-generated trajectories with turn- and trajectory-level credit. On the held-out benchmark, \liveassistant reaches 71.14 state accuracy, 72.67 recipient accuracy, and 58.41 task accuracy, with consistent gains over representative streaming and general multimodal baselines. Together, the formulation, benchmark, and training framework establish livestream assistance as selective participation in a shared social stream.
• Abstract（参考訳）: ライブストリームは、オーディオヴィジュアルコンテンツ、ビューアアクティビティ、ホスト動作、プラットフォーム信号が一緒に進化する、長く続くインタラクティブ環境である。 このフレームワークは、ライブストリームのインタラクションを4つの組み合わせた決定として定式化します。 10秒毎に、1つの自動回帰ポリシーは、同期されたコメント、ギフト、ビューアーダイナミクス、ルームメタデータでネイティブオーディオとビデオを消費し、その後、 \textsc{OBS}、 \textsc{MEM}、または \textsc{ANS}を選択する。 \textsc{OBS} は静かであり、 \textsc{MEM} はプライベートなセマンティック更新を記録し、 \textsc{ANS} は受信者、タスク、接地されたメッセージを指定する。 このタスクを支援するために,実ライブストリームセッションを構造化因果監視に再構成し,320時間以上の最適化トラジェクトリと,275クリップと13,812回の判定間隔の人間レビューベンチマークを作成した。 我々は,疎構造決定を強化するマーカ・アウェア・マルチターン監視ファインタニング(MA-MSFT)と,ターンレベルとトラジェクトリレベルのクレジットで自己生成トラジェクトリを最適化するストリーム・マルチターンGSPO(SM-GSPO)を用いて,ポリシーを訓練する。 ホールドアウトベンチマークでは、 \liveassistantは71.14状態精度、72.67受信精度、58.41タスク精度に到達し、代表ストリーミングと一般的なマルチモーダルベースラインよりも一貫したゲインを得た。 定式化、ベンチマーク、トレーニングフレームワークは、共有ソーシャルストリームへの選択的な参加として、ライブストリーム支援を確立する。

関連論文リスト

• TimeInteract: Towards Real-Time Interactive Intelligence for Streaming Time Series [63.51670715618216]
  時系列インタラクション(Time-Series Interaction)は、到着する時系列の観測とユーザ意図を認識し、いつ沈黙するか、応答するかを自律的に決定し、応答生成中に新しい観測処理を継続するモデルである。 StreamTSI-34Kは大規模なストリーミングTSインタラクションデータセットで,34,588エピソードと77,505応答を合成時系列と実時間時系列に1回,複数回設定して構築する。
  論文  参考訳（メタデータ） (2026-09-22T13:29:03Z)
• TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming [11.909536558149837]
  電子商取引のライブストリーミングは、ノイズや時間的に拡張されたストリームを一律に理解する必要がある。 TLive-Omniは、ライブコマースのシナリオに合わせた、オムニモーダルな理解モデルである。
  論文  参考訳（メタデータ） (2026-08-21T10:25:38Z)
• InteracVid: Building a Real Interactive Audio-Visual Response Dataset from Live-Chat Videos [7.003662856458999]
  我々は、この欠落した監視に対処する最初のオープンソース大規模データセットである textbfInteracVid を紹介する。 Everysampleは、先行する音声視覚コンテキストと、それに続く実際の対話応答を伴う外部刺激を結合する。 10レーターの人間による研究では、抽出された相互作用が、真のクエリと再構築されたクエリの両方に対して因果的、自然的、時間的に完全であることを確認している。
  論文  参考訳（メタデータ） (2026-08-02T11:28:13Z)
• Harnessing Streaming Video in the Wild [53.23721420272668]
  VLM(Vision-Language Models)は、ビデオコールアシスタント、ライブコメンタリー、エンボディロボットなどのアプリケーションでビデオストリームを処理するためにますます必要とされる。 理想的なストリーミングシステムは、アクティブなインタラクション、長期メモリ、リアルタイム処理をサポートする必要がある。 既存のVLMはオフラインのビデオ理解に優れていますが、ストリーミング機能に欠け、ストリーミングデプロイメント専用のインフラストラクチャが欠如しています。
  論文  参考訳（メタデータ） (2026-06-07T13:00:19Z)
• AURA: Always-On Understanding and Real-Time Assistance via Video Streams [37.80002196035961]
  AURA(Always-On Understanding and Real-Time Assistance)は、エンドツーエンドのストリーミングビジュアルインタラクションフレームワークである。 これにより、統合されたVideoLLMがビデオストリームを継続的に処理し、リアルタイムの質問応答とプロアクティブ応答の両方をサポートする。 AURAはストリーミングベンチマークで最先端のパフォーマンスを実現し、2つの80Gアクセラレータ上で2FPSで動作するASRとTSを備えたリアルタイムデモシステムをサポートする。
  論文  参考訳（メタデータ） (2026-04-05T16:53:46Z)
• StreamEQA: Towards Streaming Video Understanding for Embodied Scenarios [33.70462645363648]
  StreamEQAは、エンボディされたシナリオにおけるビデオ質問応答の最初のベンチマークである。 156個の独立した長編ビデオの上に構築され、正確なタイムスタンプで約21Kの質問応答ペアを生成する。 StreamEQAは、エンボディされたアプリケーションのためのストリーミングビデオ理解の研究を触媒することを期待しています。
  論文  参考訳（メタデータ） (2025-12-04T04:48:16Z)
• Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
  本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。 提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
  論文  参考訳（メタデータ） (2025-10-11T06:36:59Z)
• StreamAgent: Towards Anticipatory Agents for Streaming Video Understanding [52.55809460075286]
  本稿では,今後のタスク関連情報を含むと思われる時間間隔と空間領域を予測できるStreamAgentを提案する。 我々は,重要な出来事の時間的進行を予測するために,予測エージェントに期待を促すことによって,質問の意味論と歴史的観察を統合する。 提案手法は,応答精度とリアルタイム効率において既存の手法よりも優れており,実世界のストリーミングシナリオの実用的価値を強調している。
  論文  参考訳（メタデータ） (2025-08-03T18:15:42Z)
• SOC: Semantic-Assisted Object Cluster for Referring Video Object Segmentation [35.063881868130075]
  本稿では,映像レベルの視覚言語的アライメントを高めることによって,映像オブジェクトセグメンテーション(RVOS)について述べる。 本稿では,映像コンテンツとテキストガイダンスを集約したセマンティック支援オブジェクトクラスタ(SOC)を提案する。 我々は、人気のあるRVOSベンチマークで広範な実験を行い、我々の手法は、すべてのベンチマークにおける最先端の競合よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2023-05-26T15:13:44Z)
• Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos [55.52369116870822]
  本稿では,ビデオにおける時間的言語ローカライゼーションの問題に対処することに焦点を当てる。 自然言語文で記述された瞬間の始点と終点を、未編集のビデオで識別することを目的としている。
  論文  参考訳（メタデータ） (2021-10-12T14:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。