論文の概要: Question Answering for Diagram-Rich Technical Meeting Videos

• arxiv url: http://arxiv.org/abs/2607.10494v1
• Date: Sat, 11 Jul 2026 21:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.444079
• Title: Question Answering for Diagram-Rich Technical Meeting Videos
• Title（参考訳）: ダイアグラムリッチ技術会議のビデオに対する質問応答
• Abstract要約: LLMに基づく技術会議ビデオのためのマルチモーダル質問応答システム LMVQA の開発と評価を行う。 Cienaのエンジニアと共同で開発されたLMVQAは、音声および視覚的証拠の回答を根拠として、要求と設計意図の理解を支援する。 シエナデータセット全体を通して,LMVQAは,最先端のベースラインに比べて解答精度が有意に向上することを示す。 1回のインデックス付けの後、LCVQAは平均応答時間をCienaで81.3秒から3.3秒、公開データセットで98.4秒から9.2秒に削減し、平均トークンを下げる。
• 参考スコア（独自算出の注目度）: 6.52861143564289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software engineering increasingly relies on asynchronous communication artifacts, including recorded meetings where stakeholders discuss concerns, rationale, and decisions. These meetings often include diagram-based representations of requirements, system behavior, component interactions, and trace dependencies. Accessing knowledge from these meetings is challenging because recordings are long and relevant evidence is distributed across speech, slides, and technical diagrams. This paper reports our industrial experience developing and evaluating LMVQA, an LLM-based multimodal question-answering system for technical meeting videos. Developed in collaboration with engineers at Ciena, LMVQA supports the understanding of requirements and design intent by grounding answers in audio and visual evidence, with explicit handling of diagram-rich content such as requirements and UML diagrams. It processes each video once to build a reusable time-stamped evidence corpus for grounded question answering. Across a Ciena dataset and a public dataset, we show that LMVQA significantly improves answer accuracy compared to a state-of-the-art baseline, from 31% to 94% on the Ciena dataset and from 21% to 88% on the public dataset, with larger gains on diagram-rich videos. We further show that, after one-time indexing, LMVQA reduces average response time from 81.3s to 3.3s on Ciena and from 98.4s to 9.2s on the public dataset, while lowering average token-based LLM API cost by about 75%. Finally, our interviews with three domain experts show that engineers particularly value LMVQA for locating software-engineering-relevant information, revisiting rationale, and tracing answers to specific video segments.
• Abstract（参考訳）: ソフトウェアエンジニアリングはますます非同期通信の成果物に依存しており、ステークホルダーが関心事や合理性、決定について議論する会議の記録も含んでいる。 これらのミーティングには、要件のダイアグラムベースの表現、システムの振る舞い、コンポーネントのインタラクション、およびトレーサビリティが含まれることが多い。 録音は長く、関連する証拠はスピーチ、スライド、技術的な図に分散しているため、これらのミーティングから知識にアクセスすることは難しい。 本稿では,LLMに基づく技術会議用質問応答システム LMVQA の開発と評価について報告する。 Cienaのエンジニアと共同で開発されたLMVQAは、要求やUML図のような図に富んだコンテンツを明示的に扱うことで、音声や視覚的証拠の回答を根拠として、要求と設計意図の理解を支援する。 各動画を処理して再利用可能な時間スタンプ付き証拠コーパスを構築し、根拠のある質問に答える。 Cienaデータセットと公開データセット全体で、LCVQAは、最先端のベースラインと比較して、Cienaデータセットで31%から94%、パブリックデータセットで21%から88%、ダイアグラムリッチなビデオで大きく向上している。 さらに,1回のインデックス付けを行った結果,平均応答時間をCienaで81.3秒から3.3秒に,公開データセットで98.4秒から9.2秒に短縮し,トークンベースのLLM APIの平均コストを約75%削減した。 最後に、私たちは3つのドメインの専門家とのインタビューで、ソフトウェアエンジニアリング関連情報の所在、合理性の再検討、特定のビデオセグメントへの回答の追跡について、特にエンジニアがLMVQAを重要視していることを示しました。

関連論文リスト

• Video-CoT: A Comprehensive Dataset for Spatiotemporal Understanding of Videos Based on Chain-of-Thought [19.792159494513424]
  ビデオ理解は、ビデオ分析からインタラクティブシステムまで、様々な用途に不可欠である。 視覚言語モデルの発展にもかかわらず、これらのモデルはしばしば、微妙で時間的な詳細を捉えるのに苦労する。 これを解決するために、ビデオ理解を強化するために設計された画期的なデータセットであるVideo-Thoughtを紹介した。
  論文  参考訳（メタデータ） (2025-06-10T14:08:56Z)
• MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
  AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。 AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。 提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T06:34:29Z)
• Deep Video Discovery: Agentic Search with Tool Use for Long-form Video Understanding [60.88843818016968]
  長時間のビデオ理解は時間空間の複雑さと質問応答の難しさによって大きな課題を呈する。 セグメント化されたビデオクリップ上でのエージェント検索戦略を活用するために,Deep Video Discovery (DVD) エージェントを提案する。 当社のDVDエージェントは,LVBenchデータセット上での最先端性能を実現し,74.2%の精度を実現した。
  論文  参考訳（メタデータ） (2025-05-23T16:37:36Z)
• TUMTraffic-VideoQA: A Benchmark for Unified Spatio-Temporal Video Understanding in Traffic Scenes [26.948071735495237]
  複雑なトラフィックシナリオを理解するために設計されたデータセットとベンチマークであるTUMTraffic-VideoQAを提案する。 データセットには85,000対の複数選択ペア、2,300のオブジェクトキャプション、5,700のオブジェクトアノテーションが含まれており、悪天候や交通異常などのさまざまな現実世界の状況を含んでいる。
  論文  参考訳（メタデータ） (2025-02-04T16:14:40Z)
• Perceive, Query & Reason: Enhancing Video QA with Question-Guided Temporal Queries [50.47265863322891]
  Video Question Answering (ビデオQA)は、ビデオ全体を理解するためにモデルを必要とする、難しいビデオ理解タスクである。 近年のMLLM(Multimodal Large Language Models)の進歩は,ビデオQAに特有なコモンセンス推論機能を活用して変化している。 本稿では,フレーム単位の視覚知覚とLCMの推論能力の間に疑問を導いた時間的ブリッジを生成する,新しい時間的モデリング手法であるT-Formerを提案する。
  論文  参考訳（メタデータ） (2024-12-26T17:53:14Z)
• MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding [67.56182262082729]
  本稿では,ビデオ理解において大規模視覚言語モデル(LVLM)を厳格に評価するための定量的なベンチマークであるMMBench-Videoを紹介する。 MMBench-VideoにはYouTubeの長いビデオが組み込まれており、フリーフォームの質問を採用し、実用的なユースケースを反映している。 ベンチマークは、慎重に構築された能力の分類に従って人間に注釈を付けることで、モデルの時間的推論スキルを調査するために慎重に作成されている。
  論文  参考訳（メタデータ） (2024-06-20T17:26:01Z)
• Localizing Events in Videos with Multimodal Queries [61.20556229245365]
  セマンティッククエリに基づくビデオ内のイベントのローカライズは、ビデオ理解における重要なタスクである。 マルチモーダルクエリでビデオ中のイベントをローカライズするための新しいベンチマークであるICQを紹介する。 疑似MQs戦略における3つのマルチモーダルクエリ適応法と新しいサロゲートファインタニングを提案する。
  論文  参考訳（メタデータ） (2024-06-14T14:35:58Z)
• CinePile: A Long Video Question Answering Dataset and Benchmark [55.30860239555001]
  我々は、CinePileという新しいデータセットとベンチマークを提示する。 包括的データセットは305,000の多重選択質問(MCQ)から構成されており、様々な視覚的・マルチモーダル的な側面をカバーしている。 トレーニングスプリットに関して、オープンソースのVideo-LLMを微調整し、データセットのテストスプリット上で、オープンソースとプロプライエタリなビデオ中心LLMの両方を評価しました。
  論文  参考訳（メタデータ） (2024-05-14T17:59:02Z)
• Grounded Question-Answering in Long Egocentric Videos [39.281013854331285]
  長い、エゴセントリックなビデオで、個人やロボットが自分の過去の視覚的体験について尋ねることができる。 このタスクは、広範囲なビデオコンテンツ内での時間的グラウンドクエリの複雑さを含む、ユニークな課題を提示する。 提案手法は,クエリグラウンディングと応答を統一モデルに統合することにより,誤りの伝播を低減することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-12-11T16:31:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。