論文の概要: Companion-style QA Assistance in Ego-Vision

• arxiv url: http://arxiv.org/abs/2609.06721v1
• Date: Sun, 06 Sep 2026 16:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.299135
• Title: Companion-style QA Assistance in Ego-Vision
• Title（参考訳）: エゴビジョンにおけるコンパニオン型QA支援
• Abstract要約: 本稿では,エゴセントリックなストリーミングビデオにおける協調型質問応答(QA)のベンチマークであるBuddyVQAを紹介する。 毎日の1対1のQAアシストで一般的な2つの重要な特徴があるが、既存のVideoQAベンチマークではほとんど見落とされている。 提案するMyBuddyは,マルチモーダル・チェーン・オブ・シークレット推論機構を特徴とするQAアシスタントである。
• 参考スコア（独自算出の注目度）: 55.53073147495282
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: AI companions are envisioned as always-on assistants that support users in daily life. With this regard, we introduce BuddyVQA, a benchmark for companion-style question answering (QA) on egocentric streaming video. BuddyVQA contains 21.6K questions linked to 6K highlight moments across 1,012 long, egocentric videos. It features two key characteristics that are common in daily first-person QA assistance but are largely overlooked in existing VideoQA benchmarks: ego-deictic expressions and interactively chained questions (e.g., "Where is it?", "How to get there?"). These require models to infer a user's in-situation intent by resolving visual pronouns in the context of egocentric visual and QA contents, with both grounded in a long-form streaming setting. To tackle the challenges, we propose MyBuddy, a companion-style QA assistant that highlights a multimodal chain-of-thought reasoning mechanism to infer the final answer based on the historical QA and visual content. An additional question filter and multi-level memory are designed to facilitate efficient QA and visual information retrieval under streaming QA settings. Experiments show that MyBuddy significantly enhances the performance of foundation models on BuddyVQA. Moreover, these gains generalize to other streaming and common video QA benchmarks, demonstrating the applicability and effectiveness of our approach. Our code and dataset are available at https://github.com/QHUni/BuddyVQA
• Abstract（参考訳）: AIコンパニオンは、日常のユーザーをサポートする常時オンのアシスタントとして構想されている。 そこで本稿では,egocentric streaming video における同伴型質問応答 (QA) のベンチマークである BuddyVQA を紹介する。 BuddyVQAには、長さ1,012のエゴセントリックなビデオの6Kハイライトモーメントに関連する21.6Kの質問が含まれている。 毎日の1対1のQAアシストで共通する2つの重要な特徴があるが、既存のVideoQAベンチマークではほとんど見落とされ、ego-deictic Expressionとインタラクティブに連鎖した質問(例: "Where is it?", "How to get there?")である。 これらは、長期のストリーミング環境において、エゴセントリックな視覚的およびQA的な内容の文脈で視覚的代名詞を解くことによって、ユーザの入力意図を推測するモデルを必要とする。 この課題に対処するために,過去のQAと視覚コンテンツに基づいて最終回答を推測する多モーダル連鎖推論機構を強調する,協調型QAアシスタントのMyBuddyを提案する。 ストリーミングQA設定下での効率的なQAと視覚情報検索を容易にするために,追加の質問フィルタとマルチレベルメモリが設計された。 実験の結果、MyBuddyはBuddyVQAのファンデーションモデルの性能を大幅に向上させることがわかった。 さらに、これらは、他のストリーミングおよび一般的なビデオQAベンチマークに一般化され、我々のアプローチの適用性と有効性を示す。 私たちのコードとデータセットはhttps://github.com/QHUni/BuddyVQAで公開されています。

関連論文リスト

• MovieCORE: COgnitive REasoning in Movies [39.759698550568174]
  MovieCOREは、映画コンテンツに対する深い認知的理解を探求するために設計された、新しいデータセットである。 本稿では,複数の大規模言語モデル(LLM)を思考エージェントとして活用する,革新的なエージェントブレインストーミング手法を提案する。 既存のビデオ言語モデル(VLM)の限界に対処するため、エージェント拡張モジュール、エージェント選択拡張(ACE)を導入する。
  論文  参考訳（メタデータ） (2025-08-26T13:43:45Z)
• FIQ: Fundamental Question Generation with the Integration of Question Embeddings for Video Question Answering [26.585985828583304]
  ビデオ質問(英語: Video question of answering、VQA)とは、ある質問に答えるためにビデオの解釈を必要とするタスクである。 本稿では,ビデオの基本的な理解を深めることにより,モデルの推論能力を高めるための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-07-17T06:19:38Z)
• ImplicitQA: Going beyond frames towards Implicit Video Reasoning [39.63171940350552]
  ImplicitQAは、人間のような暗黙の推論でビデオQAモデルをテストするために設計された新しいベンチマークである。 ImplicitQAは、1Kの高品質なクリエイティビティビデオクリップから引き出された1Kの微妙な注釈付きQAペアからなる。
  論文  参考訳（メタデータ） (2025-06-26T19:53:54Z)
• VQA$^2$: Visual Question Answering for Video Quality Assessment [76.81110038738699]
  ビデオ品質アセスメント(VQA)は、低レベルの視覚知覚において古典的な分野である。 画像領域における最近の研究は、視覚質問応答(VQA)が視覚的品質を著しく低レベルに評価できることを示した。 VQA2インストラクションデータセットは,ビデオ品質評価に焦点をあてた最初の視覚的質問応答インストラクションデータセットである。 VQA2シリーズは、ビデオにおける空間的時間的品質の詳細の知覚を高めるために、視覚的および運動的トークンをインターリーブする。
  論文  参考訳（メタデータ） (2024-11-06T09:39:52Z)
• FunQA: Towards Surprising Video Comprehension [64.58663825184958]
  本稿では,挑戦的なビデオ質問応答データセットであるFunQAを紹介する。 FunQAはHumorQA、CreativeQA、MagicQAの3種類の驚くべきビデオをカバーしている。 FunQAベンチマークは4.3Kビデオクリップから派生した312KのフリーテキストQAペアで構成されている。
  論文  参考訳（メタデータ） (2023-06-26T17:59:55Z)
• NuScenes-QA: A Multi-modal Visual Question Answering Benchmark for Autonomous Driving Scenario [77.14723238359318]
  NuScenesQAは、自動運転シナリオにおけるVQAの最初のベンチマークであり、34Kの視覚シーンと460Kの質問応答ペアを含んでいる。 既存の3D検出アノテーションを利用してシーングラフと質問テンプレートを手動で作成する。 先進的な3D検出とVQA技術を用いた一連のベースラインを開発する。
  論文  参考訳（メタデータ） (2023-05-24T07:40:50Z)
• Structured Two-stream Attention Network for Video Question Answering [168.95603875458113]
  本研究では,自由形式の自然言語やオープンな自然言語の疑問に答えるために,構造化された2ストリーム注意ネットワーク,すなわちSTAを提案する。 まず、構造化セグメントコンポーネントを用いてビデオ中にリッチな長距離時間構造を推定し、テキスト特徴を符号化する。 そして、構造化された2ストリームアテンションコンポーネントは、重要な視覚的インスタンスを同時にローカライズし、背景映像の影響を低減し、関連するテキストに焦点を当てる。
  論文  参考訳（メタデータ） (2022-06-02T12:25:52Z)
• NExT-QA:Next Phase of Question-Answering to Explaining Temporal Actions [80.60423934589515]
  NExT-QAは、厳密に設計されたビデオ質問回答(VideoQA)ベンチマークです。 因果的行動推論,時間的行動推論,共通場面理解を対象とする複数選択およびオープンエンドQAタスクを構築した。 トップパフォーマンスの手法は浅い場面記述に優れているが、因果的および時間的行動推論に弱い。
  論文  参考訳（メタデータ） (2021-05-18T04:56:46Z)
• End-to-End Video Question-Answer Generation with Generator-Pretester Network [27.31969951281815]
  マルチメディアにおけるビデオ質問応答(VQA)課題に対するビデオ質問応答生成(VQAG)の課題について検討する。 キャプションはビデオを完全に表現してはいないし、実際に利用できないので、VQAG(Video Question-Answer Generation)によるビデオに基づいて質問対を生成することが不可欠である。 我々は,現在利用可能な2つの大規模ビデオQAデータセットで評価し,最先端の質問生成性能を実現する。
  論文  参考訳（メタデータ） (2021-01-05T10:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。