論文の概要: A Gaze-grounded Visual Question Answering Dataset for Clarifying Ambiguous Japanese Questions

• arxiv url: http://arxiv.org/abs/2403.17545v1
• Date: Tue, 26 Mar 2024 09:49:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 15:57:01.658538
• Title: A Gaze-grounded Visual Question Answering Dataset for Clarifying Ambiguous Japanese Questions
• Title（参考訳）: あいまいな日本語質問の明確化のための迷路型視覚質問応答データセット
• Authors: Shun Inadumi, Seiya Kawano, Akishige Yuguchi, Yasutomo Kawanishi, Koichiro Yoshino,
• Abstract要約: 本稿では、視線情報を用いて曖昧な質問を明確化するGaze-grounded VQAデータセット(GazeVQA)を提案する。 また,視線目標推定結果を用いてGazeVQAタスクの精度を向上させる手法を提案する。
• 参考スコア（独自算出の注目度）: 4.84233123510822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Situated conversations, which refer to visual information as visual question answering (VQA), often contain ambiguities caused by reliance on directive information. This problem is exacerbated because some languages, such as Japanese, often omit subjective or objective terms. Such ambiguities in questions are often clarified by the contexts in conversational situations, such as joint attention with a user or user gaze information. In this study, we propose the Gaze-grounded VQA dataset (GazeVQA) that clarifies ambiguous questions using gaze information by focusing on a clarification process complemented by gaze information. We also propose a method that utilizes gaze target estimation results to improve the accuracy of GazeVQA tasks. Our experimental results showed that the proposed method improved the performance in some cases of a VQA system on GazeVQA and identified some typical problems of GazeVQA tasks that need to be improved.
• Abstract（参考訳）: 視覚情報は視覚的質問応答(VQA)と呼ばれ、しばしば指示情報への依存によって生じる曖昧さを含む。 日本語など一部の言語では主観的・客観的な用語を省略することが多いため、この問題は悪化している。 このような質問のあいまいさは、ユーザとの共同注意やユーザ視線情報など、会話の状況におけるコンテキストによって明確化されることが多い。 本研究では,視線情報を用いて曖昧な質問を明確化するGaze-grounded VQAデータセット(GazeVQA)を提案する。 また,視線目標推定結果を用いてGazeVQAタスクの精度を向上させる手法を提案する。 実験の結果,提案手法はGazeVQA上でのVQAシステムの性能を向上し,改善すべきGazeVQAタスクの典型的な問題を明らかにした。

関連論文リスト

• Show Me What and Where has Changed? Question Answering and Grounding for Remote Sensing Change Detection [82.65760006883248]
  我々は,CDQAG (Change Detection Question Answering and Grounding) という新しいタスクを導入する。 CDQAGは、解釈可能なテキスト回答と直感的な視覚的証拠を提供することで、従来の変更検出タスクを拡張している。 QAG-360Kと呼ばれる最初のCDQAGベンチマークデータセットを構築し、360K以上の質問、テキスト回答、およびそれに対応する高品質な視覚マスクを含む。
  論文  参考訳（メタデータ） (2024-10-31T11:20:13Z)
• Disentangling Knowledge-based and Visual Reasoning by Question Decomposition in KB-VQA [19.6585442152102]
  本稿では,知識に基づく視覚的問合せ問題について検討し,その解を求めるためには,モデルが視覚的モダリティに根ざす必要があることを示した。 我々の研究は、複雑な質問をいくつかの単純な質問に置き換えることで、画像からより関連性の高い情報を抽出できることを示した。
  論文  参考訳（メタデータ） (2024-06-27T02:19:38Z)
• Language Guided Visual Question Answering: Elevate Your Multimodal Language Model Using Knowledge-Enriched Prompts [54.072432123447854]
  視覚的質問応答(VQA)は、画像に関する質問に答えるタスクである。 疑問に答えるには、常識知識、世界知識、イメージに存在しないアイデアや概念についての推論が必要である。 本稿では,論理文や画像キャプション,シーングラフなどの形式で言語指導(LG)を用いて,より正確に質問に答えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:54:11Z)
• SC-ML: Self-supervised Counterfactual Metric Learning for Debiased Visual Question Answering [10.749155815447127]
  画像特徴に着目した自己教師付き対実測位学習法(SC-ML)を提案する。 SC-MLは、質問関連視覚特徴を適応的に選択し、質問関連視覚特徴の負の影響を低減できる。
  論文  参考訳（メタデータ） (2023-04-04T09:05:11Z)
• Equivariant and Invariant Grounding for Video Question Answering [68.33688981540998]
  ほとんどの主要なVideoQAモデルはブラックボックスとして機能し、応答プロセスの背後にある視覚言語的なアライメントを曖昧にする。 解釈可能なビデオQA(EIGV)のための自己解釈可能なフレームワーク、同変および不変グラウンドを考案する。 EIGVは、因果場面と環境情報を区別し、視覚言語的アライメントを明確に提示することができる。
  論文  参考訳（メタデータ） (2022-07-26T10:01:02Z)
• Found a Reason for me? Weakly-supervised Grounded Visual Question Answering using Capsules [85.98177341704675]
  近年,VQAタスクの接地に関する問題が研究コミュニティで注目されている。 カプセル特徴のクエリーに基づく選択機構を備えたビジュアルカプセルモジュールを提案する。 提案するカプセルモジュールを既存のVQAシステムに統合することで,弱教師付き接地作業における性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-05-11T07:45:32Z)
• Answer-Driven Visual State Estimator for Goal-Oriented Visual Dialogue [42.563261906213455]
  視覚状態に対する異なる回答の効果を付加するアンサー駆動型視覚状態推定器(ADVSE)を提案する。 まず、視覚的注意に対する回答駆動の効果を捉えるために、回答駆動集中注意(ADFA)を提案する。 そして、焦点をあてて、条件付き視覚情報融合(CVIF)による視覚状態推定を行う。
  論文  参考訳（メタデータ） (2020-10-01T12:46:38Z)
• Rephrasing visual questions by specifying the entropy of the answer distribution [0.0]
  本稿では,質問のあいまいさを制御し,新しい課題を提案する。 視覚的質問のあいまいさは、VQAモデルによって予測される回答分布のエントロピーを用いて定義される。 我々は,質問のあいまいさを制御できるアプローチの利点を実証し,あいまいさを減らすことよりも増大が難しいという興味深い観察を行った。
  論文  参考訳（メタデータ） (2020-04-10T09:32:37Z)
• Understanding Knowledge Gaps in Visual Question Answering: Implications for Gap Identification and Testing [20.117014315684287]
  我々は、知識ギャップ(KG)の分類を用いて、質問を1つまたは複数のタイプのKGでタグ付けする。 次に,各KGに対する質問の分布のスキューについて検討する。 これらの新しい質問は、既存のVQAデータセットに追加することで、質問の多様性を高め、スキューを減らすことができる。
  論文  参考訳（メタデータ） (2020-04-08T00:27:43Z)
• On the General Value of Evidence, and Bilingual Scene-Text Visual Question Answering [120.64104995052189]
  本稿では,2つの言語で表現された質問を含む,この問題に対処するための一歩を踏み出したデータセットを提案する。 推論を測定することは、偶然に正しい答えを罰することによって、直接一般化を促進する。 データセットはVQA問題のシーンテキストバージョンを反映しており、推論評価は参照表現課題のテキストベースのバージョンと見なすことができる。
  論文  参考訳（メタデータ） (2020-02-24T13:02:31Z)
• SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions [66.86887670416193]
  現状のVQAモデルでは、知覚や推論の問題に答える上で同等の性能を持つが、一貫性の問題に悩まされていることを示す。 この欠点に対処するため、サブクエスト対応ネットワークチューニング(SQuINT)というアプローチを提案する。 我々は,SQuINTがモデル一貫性を5%向上し,VQAにおける推論問題の性能も改善し,注意マップも改善したことを示す。
  論文  参考訳（メタデータ） (2020-01-20T01:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。