論文の概要: Evaluating the Capability of Video Question Generation for Expert Knowledge Elicitation

• arxiv url: http://arxiv.org/abs/2512.15006v1
• Date: Wed, 17 Dec 2025 01:38:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:26.824625
• Title: Evaluating the Capability of Video Question Generation for Expert Knowledge Elicitation
• Title（参考訳）: 専門知識抽出のためのビデオ質問生成能力の評価
• Authors: Huaying Zhang, Atsushi Hashimoto, Tosho Hirasawa,
• Abstract要約: 本稿では,質問・回答検索を用いて専門家との質問・回答によるコミュニケーション能力を評価するプロトコルを提案する。 Ego-Exo4Dのエキスパート注釈から生成された27,666のQAペアからなる新しいデータセットであるEgoExoAskを構築して検索する。
• 参考スコア（独自算出の注目度）: 4.718659734376358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Skilled human interviewers can extract valuable information from experts. This raises a fundamental question: what makes some questions more effective than others? To address this, a quantitative evaluation of question-generation models is essential. Video question generation (VQG) is a topic for video question answering (VideoQA), where questions are generated for given answers. Their evaluation typically focuses on the ability to answer questions, rather than the quality of generated questions. In contrast, we focus on the question quality in eliciting unseen knowledge from human experts. For a continuous improvement of VQG models, we propose a protocol that evaluates the ability by simulating question-answering communication with experts using a question-to-answer retrieval. We obtain the retriever by constructing a novel dataset, EgoExoAsk, which comprises 27,666 QA pairs generated from Ego-Exo4D's expert commentary annotation. The EgoExoAsk training set is used to obtain the retriever, and the benchmark is constructed on the validation set with Ego-Exo4D video segments. Experimental results demonstrate our metric reasonably aligns with question generation settings: models accessing richer context are evaluated better, supporting that our protocol works as intended. The EgoExoAsk dataset is available in https://github.com/omron-sinicx/VQG4ExpertKnowledge .
• Abstract（参考訳）: 熟練した人間インタビュアーは専門家から貴重な情報を抽出することができる。 これは根本的な疑問を引き起こします – 質問が他の質問よりも効果的になる理由は何でしょうか? この問題に対処するためには,質問生成モデルの定量的評価が不可欠である。 ビデオ質問生成(VQG)は、ビデオ質問応答(VQA)のトピックであり、与えられた回答に対して質問を生成する。 彼らの評価は一般的に、生成された質問の品質よりも、質問に答える能力に焦点を当てている。 対照的に、人間の専門家から見知らぬ知識を引き出す際の質問品質に焦点をあてる。 VQGモデルの継続的な改善のために,質問問合せ検索を用いて専門家との質問問合せをシミュレートし,その能力を評価するプロトコルを提案する。 Ego-Exo4Dのエキスパート注釈から生成された27,666個のQAペアからなる新しいデータセットであるEgoExoAskを構築して検索する。 EgoExoAskトレーニングセットを使用して検索し、Ego-Exo4Dビデオセグメントによる検証セット上にベンチマークを構築する。 実験の結果、我々のメトリックは質問生成設定と合理的に一致し、よりリッチなコンテキストにアクセスするモデルの方がより良い評価を受け、我々のプロトコルが意図した通りに機能することを実証した。 EgoExoAskデータセットはhttps://github.com/omron-sinicx/VQG4ExpertKnowledgeで公開されている。

関連論文リスト

• Multimodal Reranking for Knowledge-Intensive Visual Question Answering [77.24401833951096]
  回答生成のための知識候補のランク付け品質を向上させるためのマルチモーダル・リランカを提案する。 OK-VQAとA-OKVQAの実験は、遠隔監視からのマルチモーダルリランカーが一貫した改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2024-07-17T02:58:52Z)
• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
  知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。 KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。 具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
  論文  参考訳（メタデータ） (2023-10-12T09:12:50Z)
• FOLLOWUPQG: Towards Information-Seeking Follow-up Question Generation [38.78216651059955]
  実世界の情報検索フォローアップ質問生成(FQG)の課題について紹介する。 オープンエンド質問に対するRedditフレンドリーな説明を提供するフォーラムレイマンから収集した,3K以上の実世界のデータセット(初期質問,回答,フォローアップ質問)であるFOLLOWUPQGを構築した。 既存のデータセットとは対照的に、FOLLOWUPQGの質問は情報を求めるためにより多様な実用的戦略を使用し、高次認知能力も示している。
  論文  参考訳（メタデータ） (2023-09-10T11:58:29Z)
• Prophet: Prompting Large Language Models with Complementary Answer Heuristics for Knowledge-based Visual Question Answering [28.763437313766996]
  知識に基づく視覚的質問応答(VQA)は、質問に答えるために、画像以外の外部知識を必要とする。 近年の研究では,暗黙の知識エンジンとして強力な大規模言語モデル (LLM) を用いることで,回答に必要な知識を獲得している。 Prophet - 知識に基づくVQAの解答を促すために設計された,概念的にシンプルで柔軟な,汎用的なフレームワーク。
  論文  参考訳（メタデータ） (2023-03-03T13:05:15Z)
• What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys [63.51903260461746]
  対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。 そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。 次に,その課題に対する2段階の知識駆動モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-23T00:57:33Z)
• Enhancing Question Generation with Commonsense Knowledge [33.289599417096206]
  質問生成プロセスにコモンセンス知識を導入するためのマルチタスク学習フレームワークを提案する。 SQuAD実験の結果,提案手法は自動評価と人的評価の両方でQG性能を著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-19T08:58:13Z)
• End-to-End Video Question-Answer Generation with Generator-Pretester Network [27.31969951281815]
  マルチメディアにおけるビデオ質問応答(VQA)課題に対するビデオ質問応答生成(VQAG)の課題について検討する。 キャプションはビデオを完全に表現してはいないし、実際に利用できないので、VQAG(Video Question-Answer Generation)によるビデオに基づいて質問対を生成することが不可欠である。 我々は,現在利用可能な2つの大規模ビデオQAデータセットで評価し,最先端の質問生成性能を実現する。
  論文  参考訳（メタデータ） (2021-01-05T10:46:06Z)
• Knowledge-Routed Visual Question Reasoning: Challenges for Deep Representation Embedding [140.5911760063681]
  VQAモデル評価のためのナレッジルーティング視覚質問推論という新しいデータセットを提案する。 視覚ゲノムシーングラフと外部知識ベースの両方に基づいて,制御プログラムを用いて質問応答対を生成する。
  論文  参考訳（メタデータ） (2020-12-14T00:33:44Z)
• Exploring Question-Specific Rewards for Generating Deep Questions [42.243227323241584]
  我々は、生成した質問の流布度、妥当性、回答可能性を改善するために、ターゲットとする3つの異なる報酬を設計する。 質問固有報酬の最適化は、一般的に自動評価指標の性能向上につながる。
  論文  参考訳（メタデータ） (2020-11-02T16:37:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。