論文の概要: Personal AI Agent for Camera Roll VQA

• arxiv url: http://arxiv.org/abs/2606.05275v1
• Date: Wed, 03 Jun 2026 17:59:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.309464
• Title: Personal AI Agent for Camera Roll VQA
• Title（参考訳）: カメラロールVQAのためのパーソナルAIエージェント
• Authors: Thao Nguyen, Krishna Kumar Singh, Donghyun Kim, Yong Jae Lee, Yuheng Li,
• Abstract要約: パーソナルカメラロールの視覚的質問応答設定について検討する。 この設定では、会話型AIアシスタントがユーザのパーソナルカメラロールにアクセスし、関連する写真を検索してクエリに応答することができる。 これをサポートするために、現実世界の使用を模倣する質問を収集し、手動で注釈付けする。
• 参考スコア（独自算出の注目度）: 61.305160563081614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the personal camera roll visual question answering setting. In this setting, a conversational AI assistant can access a user's personal camera roll and retrieve relevant photos to answer queries, ranging from simple factual questions (e.g., ``Name of the food I tried yesterday?'') to more open-ended ones (e.g., ``Recommend some dishes I have never eaten before''). Given the vast nature of the personal camera roll (i.e., multiple years, hundreds to thousands of photos), a successful AI assistant needs to understand a long-horizon, highly personalized visual content stream in order to navigate and locate the correct and/or relevant information. To support this, we collect and manually annotate questions that mimic real-world usage. The final dataset, camroll, contains 50 users, 31,476 images, and 2,500 QA pairs. We further design camroll-agent, a conversational AI agent equipped with hierarchical memory and a minimal set of tools for efficient navigation over large, personalized visual memory. Experimental results show that camroll-agent outperforms numerous baselines and methods for long-context understanding AI agents system. Together, the camroll dataset and camroll-agent highlight the gap in AI agents' long-context reasoning: personalized visual memory requires different approaches from standard long-context textual memory, especially when consistency, visual details, and user-specific context are present.
• Abstract（参考訳）: パーソナルカメラロールの視覚的質問応答設定について検討する。 この設定では、会話型AIアシスタントがユーザーのパーソナルカメラロールにアクセスし、質問に答えるために関連する写真を検索することができる。 パーソナライズされたカメラロールの広大な性質(例えば、数百年から数千枚の写真)を考えると、成功しているAIアシスタントは、正しい情報や関連する情報をナビゲートし、見つけ出すために、長い水平かつ高度にパーソナライズされたビジュアルコンテンツストリームを理解する必要がある。 これをサポートするために、現実世界の使用を模倣する質問を収集し、手動で注釈付けする。 最終的なデータセットであるcamrollには、50ユーザ、31,476イメージ、2500のQAペアが含まれている。 さらに、階層型メモリを備えた対話型AIエージェントであるCamroll-agentと、大規模でパーソナライズされたビジュアルメモリ上での効率的なナビゲーションのためのツールセットを設計する。 実験の結果, カムロールエージェントは, 長文理解型AIエージェントシステムにおいて, 多数のベースラインや手法より優れていた。 パーソナライズされたビジュアルメモリは、特に一貫性、視覚的詳細、ユーザ固有のコンテキストが存在する場合、標準的な長文テキストメモリとは異なるアプローチを必要とします。

関連論文リスト

• SuperMemory-VQA: An Egocentric Visual Question-Answering Benchmark for Long-Horizon Memory [14.96864764261795]
  SuperMemory-VQAは、実用的な長期記憶タスクでAIアシスタントを評価するデータセットである。 これには、同期RGBビデオ、音声の書き起こし、視線、IMU、SLAMトラジェクトリなど、AIメガネで記録された日常的な活動の52.9時間が含まれている。 対象と位置記憶,意図的リコール,視覚的シーンリコール,タイムライン再構築,会話記憶,コンテキスト内検索にまたがる4,853の質問応答対を構築した。
  論文  参考訳（メタデータ） (2026-05-30T17:53:10Z)
• Personal Visual Memory from Explicit and Implicit Evidence [64.95933636732191]
  パーソナライズされたAIエージェントにとって、長期記憶はますます重要である。 既存のベンチマークとメソッドは、主にテキスト中心のままである。 VisualMemは、テキストメモリバックエンドを構造化されたパーソナル・ビジュアル・メモリモジュールで拡張するハイブリッド・ビジュアル・テキスト・アーキテクチャである。
  論文  参考訳（メタデータ） (2026-05-27T17:56:11Z)
• Agentic Very Long Video Understanding [39.34545320553102]
  EGAgentはエンティティシーングラフを中心とした強化されたエージェントフレームワークで、時間とともに人、場所、オブジェクト、それらの関係を表現する。 提案システムは,これらのグラフに対する構造化検索と推論のためのツールと,視覚と音声のハイブリッド検索機能を備えており,詳細な,横断的,時間的に整合した推論を可能にする。 EgoLifeQA と Video-MME (Long) のデータセットから,EgoLifeQA (57.5%) の最先端性能と,複雑な長手ビデオ理解タスクにおける Video-MME (74.1%) の競合性能が得られた。
  論文  参考訳（メタデータ） (2026-01-26T05:20:47Z)
• OmniQuery: Contextually Augmenting Captured Multimodal Memory to Enable Personal Question Answering [3.8233569758620063]
  複雑な個人記憶に関する質問に答えられる新しいシステムであるOmniQueryを紹介する。 質問に対して、OmniQueryは関連する拡張メモリを取得し、大きな言語モデル(LLM)を使用して参照による回答を生成する。 人間の評価では,71.5%の精度でOmniQueryの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-12T17:48:08Z)
• Quriosity: Analyzing Human Questioning Behavior and Causal Inquiry through Curiosity-Driven Queries [92.1651731484397]
  本稿では,3つの情報源から自然発生の13.5Kの質問を集めたQuriosityを紹介する。 分析の結果,データセットに因果的疑問(最大42%)が存在することが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-30T17:55:28Z)
• MuMuQA: Multimedia Multi-Hop News Question Answering via Cross-Media Knowledge Extraction and Grounding [131.8797942031366]
  我々は、画像中のオブジェクトをテキストにクロスメディアグラウンドする必要があるニュース記事について、1,384の質問を含む新しいQA評価ベンチマークを示す。 具体的には、画像キャプチャーペアの推論を必要とするマルチホップ質問によって、参照されている接地された視覚オブジェクトを特定し、その質問に答えるためにニュースボディテキストからスパンを予測する。 本稿では, マルチメディアデータ拡張フレームワークを提案する。これは, クロスメディア知識抽出と合成質問応答生成に基づいて, このタスクの弱い監視を提供するデータを自動的に強化するものである。
  論文  参考訳（メタデータ） (2021-12-20T18:23:30Z)
• Generating Natural Questions from Images for Multimodal Assistants [4.930442416763205]
  本稿では,画像の内容やメタデータを考慮した多様で意味のある質問を生成するためのアプローチを提案する。 BLEU, METEOR, ROUGE, CIDEr などの標準評価指標を用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2020-11-17T19:12:23Z)
• CapWAP: Captioning with a Purpose [56.99405135645775]
  我々は、CapWAP(Captioning with a Purpose)という新しいタスクを提案する。 私たちのゴールは、意図した人口の情報ニーズに合うように調整可能なシステムを開発することです。 目的とする情報に直接最適化するために強化学習を利用することが可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-09T09:23:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。