論文の概要: TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming
- arxiv url: http://arxiv.org/abs/2608.20958v1
- Date: Fri, 21 Aug 2026 10:25:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.506416
- Title: TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming
- Title（参考訳）: TLive-Omni:EコマースライブストリーミングのためのOmni-Modal Understanding Model
- Abstract要約: 電子商取引のライブストリーミングは、ノイズや時間的に拡張されたストリームを一律に理解する必要がある。
TLive-Omniは、ライブコマースのシナリオに合わせた、オムニモーダルな理解モデルである。
- 参考スコア（独自算出の注目度）: 11.909536558149837
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: E-commerce live streaming requires omni-modal understanding of noisy, temporally extended streams, where product facts are distributed across speech, video frames, product images, overlaid text, and user queries. We present TLive-Omni, an omni-modal understanding model tailored to live-commerce scenarios. It maps image, video, audio, and text inputs into a unified representation space. For long-form live streaming analysis, we introduce Per-vGrid, a timestamped token organization that groups each video grid with its temporally corresponding audio within explicit boundary tokens to facilitate temporal alignment. We design a three-stage supervised training recipe that progressively develops live-commerce understanding, from omni-modal perception to instruction-following responses. We then propose Faithful-RFT, a reinforcement fine-tuning stage that further improves answer faithfulness and expression quality while meeting real-time demands, scoring final responses directly with task-verifiable feedback rather than optimizing for reasoning-style exploration during rollout. Moreover, TLive-Omni is supported by a scenario-oriented atomic capability taxonomy and a compact data production engine that converts live-commerce audio, image, and video streams into training signals for speech recognition, speaker analysis, product visual grounding, text recognition, temporal grounding, video dense caption, and omni-modal QA, etc. For scalable training, a synchronized length-grouped sampler reduces padding while preserving comparable workloads across workers, while a lightweight dynamic sampling strategy regenerates rollout groups with near-zero reward variance to maintain meaningful relative advantages for GRPO. Experiments on e-commerce live streaming benchmarks demonstrate strong performance across live-commerce domain tasks, together with excellent generalization on general benchmarks.
- Abstract（参考訳）: Eコマースのライブストリーミングには、音声、ビデオフレーム、製品イメージ、オーバーレイテキスト、ユーザクエリにプロダクトの事実が分散される、ノイズ、時間的に拡張されたストリームに関する雑多な理解が必要である。
TLive-Omniは、ライブコマースのシナリオに合わせた、オムニモーダルな理解モデルである。
画像、ビデオ、オーディオ、テキスト入力を統一表現空間にマッピングする。
Per-vGridというタイムスタンプ付きトークン機構を導入し,時間的アライメントを容易にするために,時間的アライメントを実現するために,ビデオグリッドを時間的に対応する音声でグループ化する。
我々は,Omni-modal の認識から指示追従応答まで,段階的に実店舗の理解を深める3段階の指導レシピを設計する。
次に、リアルタイム要求に応えながら、回答の忠実度と表現品質をさらに向上させ、ロールアウト時の推論スタイル探索を最適化するのではなく、タスク検証可能なフィードバックで最終応答を直接評価する、強化された微調整ステージであるFithful-RFTを提案する。
さらに、TLive-Omniは、シナリオ指向のアトミック機能分類と、ライブコマースオーディオ、画像、ビデオストリームを音声認識、話者分析、製品ビジュアルグラウンド、テキスト認識、時間的グラウンド、ビデオ密度キャプション、オムニモーダルQAなどのトレーニング信号に変換するコンパクトなデータ生成エンジンによってサポートされている。
スケーラブルなトレーニングでは、同期長グループサンプリングが作業者間で同等のワークロードを保持しながらパディングを削減し、軽量な動的サンプリング戦略はロールアウトグループをほぼゼロの報酬分散で再生し、GRPOに対する意味のある相対的な優位性を維持する。
eコマースのライブストリーミングベンチマークの実験は、一般的なベンチマークの優れた一般化とともに、ライブコマースのドメインタスク全体で強力なパフォーマンスを示します。
関連論文リスト
- InteracVid: Building a Real Interactive Audio-Visual Response Dataset from Live-Chat Videos [7.003662856458999]
我々は、この欠落した監視に対処する最初のオープンソース大規模データセットである textbfInteracVid を紹介する。
Everysampleは、先行する音声視覚コンテキストと、それに続く実際の対話応答を伴う外部刺激を結合する。
10レーターの人間による研究では、抽出された相互作用が、真のクエリと再構築されたクエリの両方に対して因果的、自然的、時間的に完全であることを確認している。
論文 参考訳（メタデータ） (2026-08-02T11:28:13Z) - Empowering Long-form Omni-modal Understanding with Robust Audio Perception [48.23485436432239]
AVDC(Audio-Visual Decoupled Captions)は、視覚と聴覚のセマンティクスをアンタングルするために設計された大規模データセットである。
AVDCは、モダリティ固有のニュアンスと複雑なクロスモーダル相互作用の両方をキャプチャする。
AVDC-QA-CoTは、音声ビジュアル推論を促進するために、Chain-of-Thoughtの拡張された質問応答データセットである。
論文 参考訳（メタデータ） (2026-07-11T13:04:24Z) - Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding [69.296913137409]
オンラインビデオ理解のための新しいパラダイム: SVLS(Streaming Video-Language Synchrony)を紹介する。
LyraVは、2つのコアイノベーションを備えた階層的なコントロールフレームワーク上に構築されたライブストリーミングアシスタントである。
まず、フレーム駆動トランジションコントローラ(FDTC)は、いつ話を続けるか、新しいレスポンスを開始するか、沈黙を保つか、といった、高レベルのセマンティックな決定を行います。
第二に、プラグアンドプレイの軽量予測モジュールであるStreaming Token Pacer (SToP)は、動的に言語生成率に適応し、視覚的コンテンツのペースにマッチする。
論文 参考訳（メタデータ） (2026-06-05T07:29:20Z) - AURA: Always-On Understanding and Real-Time Assistance via Video Streams [37.80002196035961]
AURA(Always-On Understanding and Real-Time Assistance)は、エンドツーエンドのストリーミングビジュアルインタラクションフレームワークである。
これにより、統合されたVideoLLMがビデオストリームを継続的に処理し、リアルタイムの質問応答とプロアクティブ応答の両方をサポートする。
AURAはストリーミングベンチマークで最先端のパフォーマンスを実現し、2つの80Gアクセラレータ上で2FPSで動作するASRとTSを備えたリアルタイムデモシステムをサポートする。
論文 参考訳（メタデータ） (2026-04-05T16:53:46Z) - Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。
提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
論文 参考訳（メタデータ） (2025-10-11T06:36:59Z) - Harnessing Synthetic Preference Data for Enhancing Temporal Understanding of Video-LLMs [54.502280390499756]
我々はTimeWarpを提案し、モデルからの応答を微調整し、与えられた入力ビデオにフォーカスするよう促すために、ターゲットとなる合成時間データセットを作成する。
提案手法を既存モデルに適用すると,時間的理解ベンチマークの性能が大幅に向上することが実証された。
論文 参考訳（メタデータ） (2025-10-04T21:48:40Z) - ARC-Hunyuan-Video-7B: Structured Video Comprehension of Real-World Shorts [56.75723197779384]
ARC-Hunyuan-Videoは、構造化理解のために視覚、音声、テキストの信号をエンドツーエンドに処理するマルチモーダルモデルである。
本モデルでは,複数粒度のタイムスタンプ付きビデオキャプションと要約,オープンなビデオ質問応答,時間的ビデオグラウンド,ビデオ推論が可能である。
論文 参考訳（メタデータ） (2025-07-28T15:52:36Z) - LoViC: Efficient Long Video Generation with Context Compression [68.22069741704158]
百万単位のオープンドメインビデオに基づいてトレーニングされたDiTベースのフレームワークであるLoViCを紹介する。
当社のアプローチの核心はFlexFormerです。ビデオとテキストを統合された潜在表現に共同で圧縮する表現型オートエンコーダです。
論文 参考訳（メタデータ） (2025-07-17T09:46:43Z) - OmniResponse: Online Multimodal Conversational Response Generation in Dyadic Interactions [62.19092662469285]
Online Multimodal Conversational Response Generation (OMCRG) は、オンラインの音声と非言語からのフィードバックを同時生成する新しいタスクである。
我々は,OmniResponseを提案する。OmniResponseはマルチモーダル大言語モデル(MLLM)であり,正確なマルチモーダルリスナー応答を自動回帰的に生成する。
ResponseNetは、696の詳細なダイアディックインタラクションのデータセットで、同期化された分割画面ビデオ、マルチチャンネルオーディオ、トランスクリプト、注釈付き顔行動が特徴です。
論文 参考訳（メタデータ） (2025-05-27T20:12:46Z) - Everything Can Be Described in Words: A Simple Unified Multi-Modal Framework with Semantic and Temporal Alignment [0.0]
大規模言語モデルのための構造化テキストとして視覚と聴覚の入力を統一するフレームワークであるUMaTを提案する。
最新技術であるLong Video Question Answeringの精度を大幅に向上させる。
論文 参考訳（メタデータ） (2025-03-12T05:28:24Z) - OMCAT: Omni Context Aware Transformer [27.674943980306423]
OCTAVは、オーディオとビデオ間のイベント遷移をキャプチャするために設計された、新しいデータセットである。
OMCATはRoTEを活用する強力なモデルであり、時間依存タスクにおける時間的グラウンドリングと計算効率を向上させる。
本稿では,AVQA(Audio-Visual Question Answering)タスクとOCTAVベンチマークを用いて,時間的推論とモーダルアライメントの大幅な向上を示す。
論文 参考訳（メタデータ） (2024-10-15T23:16:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。