論文の概要: Rehearsed Multi-Agent Live Product Demonstrations with Real-Time Voice Question Answering

• arxiv url: http://arxiv.org/abs/2606.30294v1
• Date: Mon, 29 Jun 2026 13:36:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.249109
• Title: Rehearsed Multi-Agent Live Product Demonstrations with Real-Time Voice Question Answering
• Title（参考訳）: リアルタイム音声質問応答によるマルチエージェントライブ製品デモのリハーサル
• Abstract要約: Rhetorはマルチエージェントシステムであり、セグメント同期ナレーションとリアルタイム音声質問応答を備えたライブデモをリハーサルする。 アーキテクチャのコントリビューションは、UI探索とソースコード分析を融合した、モーダルな機能表現である。
• 参考スコア（独自算出の注目度）: 0.06524460254566902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Live product demonstrations are a recurring, high-cost activity in software organizations: a human presenter must select features, dispatch the corresponding interactions on a running application, narrate them coherently, and answer questions in real time. Existing automation addresses only fragments -- generalist browser agents target instruction-conditioned task completion, and demo-video tools produce fixed MP4 artifacts that cannot be questioned and silently break under interface drift. We propose Rhetor, a multi-agent system that takes a running web application and its source-code repository as input and produces a rehearsed live demonstration with segment-synchronized narration and real-time voice question answering. The architectural contributions are a cross-modal feature representation that merges UI exploration with source-code analysis into features tagged with discrete focus tiers, a grounded scripter constrained to UI elements observed during exploration and dispatched through multi-strategy semantic locators, a pre-presentation rehearsal loop with explicit convergence and graceful degradation to narration-only segments, and a runtime synchronization invariant that ties each browser action to the audio-end event of its narration segment. Across six pipeline sessions on four deployed applications -- including the public-domain whiteboard application Excalidraw -- the rehearser's internal locator-firing rate (sigma-bar) spans 0.31-1.00 over 147 scripted actions; on the substantial workload (53 actions, full tier differentiation), sigma-bar is approximately 0.92, and on the public-domain reference point the locator-repair step drives convergence to sigma-bar = 1.00 at iteration 2. We additionally define a benchmark protocol of ten metrics across six application categories that would establish, beyond the case study, whether each design choice contributes positively.
• Abstract（参考訳）: 人間のプレゼンターは機能を選択し、実行中のアプリケーションに対応するインタラクションをディスパッチし、それらを一貫性を持ってナレーションし、リアルタイムで質問に答える必要があります。 既存の自動化アドレスはフラグメントのみ -- 一般的なブラウザエージェントは、命令条件付きタスク補完をターゲットとしており、デモビデオツールは、インターフェイスのドリフトの下で疑問視され、静かに壊れることのない、固定されたMP4アーティファクトを生成する。 動作中のWebアプリケーションとそのソースコードリポジトリを入力として取り込んだマルチエージェントシステムであるRhetorを提案する。 アーキテクチャ上のコントリビューションは、UI探索とソースコード分析を個別のフォーカス層にタグ付けした機能にマージするクロスモーダルな特徴表現、探索中に観察され、マルチストラテジーセマンティックロケータを通して配布されるUI要素に制約された基盤スクリプト、明確な収束とナレーションのみのセグメントへの優雅な分解を備えたプレプレゼンテーションリハーサルループ、各ブラウザアクションをナレーションセグメントのオーディオ-エンドイベントに結び付けるランタイム同期不変である。 パブリックドメインのホワイトボードアプリケーションを含む4つのデプロイされたアプリケーションの6つのパイプラインセッション – リハーサルの内部ロケータフィリングレート(シグマバー)は、147のスクリプトアクションで0.31-1.00の範囲である。 さらに、ケーススタディを超えて、各設計選択が肯定的な貢献をするかどうかを立証する、6つのアプリケーションカテゴリにわたる10のメトリクスのベンチマークプロトコルを定義します。

関連論文リスト

• InteracVid: Building a Real Interactive Audio-Visual Response Dataset from Live-Chat Videos [7.003662856458999]
  我々は、この欠落した監視に対処する最初のオープンソース大規模データセットである textbfInteracVid を紹介する。 Everysampleは、先行する音声視覚コンテキストと、それに続く実際の対話応答を伴う外部刺激を結合する。 10レーターの人間による研究では、抽出された相互作用が、真のクエリと再構築されたクエリの両方に対して因果的、自然的、時間的に完全であることを確認している。
  論文  参考訳（メタデータ） (2026-08-02T11:28:13Z)
• MAVIN: Multi-Shot Audio-Visual Generation with Narrative Control [66.04301887685004]
  既存の手法は、時間的ミスアライメント、制限された制御性、不完全なスクリプティングに悩まされている。 我々は、カスタマイズされた物語制御によるマルチショット映像生成のための最初のフレームワークであるMAVINを提案する。 MAVINは最先端のパフォーマンスを実現し、生成モデルをプロの映画製作に組み込む新たな道を開く。
  論文  参考訳（メタデータ） (2026-06-28T16:01:04Z)
• OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains [50.186434778589415]
  音声-視覚的質問回答(QA)のための現在の自動パイプラインは、一般的にビデオキャプション-QA'のパラダイムを採用している。 textbfEntity-Anchored Video Scripting' と textbfClue-Guided QA Generation' という2つのメカニズムを備えた自動データエンジンを提案する。
  論文  参考訳（メタデータ） (2026-06-12T17:59:55Z)
• GUIDE: Resolving Domain Bias in GUI Agents through Real-Time Web Video Retrieval and Plug-and-Play Annotation [27.67914789321192]
  Guideは、GUIエージェントのドメインバイアスを解決する、トレーニング不要のプラグイン・アンド・プレイフレームワークである。 Webチュートリアルビデオからドメイン固有の専門知識を自律的に取得する。 モデルパラメータやアーキテクチャを変更することなく、一貫して5%以上の改善が得られます。
  論文  参考訳（メタデータ） (2026-03-27T10:33:08Z)
• Detect Any Sound: Open-Vocabulary Sound Event Detection with Multi-Modal Queries [18.147981850263708]
  マルチモーダルクエリによってガイドされるオープン語彙SEDのための問合せベースのフレームワークを提案する。 DASMはSEDをフレームレベルの検索タスクとして定式化し、音声機能はテキストやオーディオプロンプトからのクエリベクトルと一致している。 DASMは、局所化精度と新しいクラスへの一般化のバランスを効果的に保ち、オープン語彙設定においてCLAPベースの手法より優れている。
  論文  参考訳（メタデータ） (2025-07-22T08:24:01Z)
• MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
  AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。 AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。 提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T06:34:29Z)
• Label-anticipated Event Disentanglement for Audio-Visual Video Parsing [61.08434062821899]
  我々は新しいデコードパラダイムであるアンダーライン・サンダーライン・エンダーライン・アンダーライン・インダーライン・プロジェクション(LEAP)を導入する。 LEAPは、音声/視覚セグメントの符号化された潜在機能を意味的に独立したラベル埋め込みに反復的に投影する。 LEAPパラダイムを促進するために,新しい音声・視覚的類似性損失関数を含むセマンティック・アウェア・最適化戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-11T01:57:08Z)
• Tag-Based Attention Guided Bottom-Up Approach for Video Instance Segmentation [83.13610762450703]
  ビデオインスタンスは、ビデオシーケンス全体にわたるオブジェクトインスタンスのセグメンテーションと追跡を扱う、基本的なコンピュータビジョンタスクである。 そこで本研究では,従来の領域プロモーター方式ではなく,画素レベルの粒度でインスタンスマスク予測を実現するための,単純なエンドツーエンドのボトムアップ方式を提案する。 提案手法は,YouTube-VIS と DAVIS-19 のデータセット上での競合結果を提供する。
  論文  参考訳（メタデータ） (2022-04-22T15:32:46Z)
• Dynamic Graph Representation Learning for Video Dialog via Multi-Modal Shuffled Transformers [89.00926092864368]
  音声・視覚シーン認識ダイアログタスクのためのセマンティクス制御型マルチモーダルシャッフルトランスフォーマー推論フレームワークを提案する。 また,フレーム内推論層を用いた動的シーングラフ表現学習パイプラインを提案する。 その結果,全ての評価指標について最先端の性能を示すことができた。
  論文  参考訳（メタデータ） (2020-07-08T02:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。