論文の概要: The curse of language biases in remote sensing VQA: the role of spatial attributes, language diversity, and the need for clear evaluation

• arxiv url: http://arxiv.org/abs/2311.16782v1
• Date: Tue, 28 Nov 2023 13:45:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 18:17:34.337704
• Title: The curse of language biases in remote sensing VQA: the role of spatial attributes, language diversity, and the need for clear evaluation
• Title（参考訳）: リモートセンシングVQAにおける言語バイアスの呪い--空間特性,言語多様性の役割と明確な評価の必要性
• Authors: Christel Chappuis and Eliot Walt and Vincent Mendez and Sylvain Lobry and Bertrand Le Saux and Devis Tuia
• Abstract要約: RSVQAの目的は、リモートセンシング画像に関する自然言語で定式化された質問に答えることである。 言語バイアスの問題はしばしばリモートセンシングコミュニティで見過ごされている。 本研究の目的は,RSVQAにおける言語バイアスの問題を3重解析戦略を用いて強調することである。
• 参考スコア（独自算出の注目度）: 32.7348470366509
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Remote sensing visual question answering (RSVQA) opens new opportunities for the use of overhead imagery by the general public, by enabling human-machine interaction with natural language. Building on the recent advances in natural language processing and computer vision, the goal of RSVQA is to answer a question formulated in natural language about a remote sensing image. Language understanding is essential to the success of the task, but has not yet been thoroughly examined in RSVQA. In particular, the problem of language biases is often overlooked in the remote sensing community, which can impact model robustness and lead to wrong conclusions about the performances of the model. Thus, the present work aims at highlighting the problem of language biases in RSVQA with a threefold analysis strategy: visual blind models, adversarial testing and dataset analysis. This analysis focuses both on model and data. Moreover, we motivate the use of more informative and complementary evaluation metrics sensitive to the issue. The gravity of language biases in RSVQA is then exposed for all of these methods with the training of models discarding the image data and the manipulation of the visual input during inference. Finally, a detailed analysis of question-answer distribution demonstrates the root of the problem in the data itself. Thanks to this analytical study, we observed that biases in remote sensing are more severe than in standard VQA, likely due to the specifics of existing remote sensing datasets for the task, e.g. geographical similarities and sparsity, as well as a simpler vocabulary and question generation strategies. While new, improved and less-biased datasets appear as a necessity for the development of the promising field of RSVQA, we demonstrate that more informed, relative evaluation metrics remain much needed to transparently communicate results of future RSVQA methods.
• Abstract（参考訳）: リモートセンシング ビジュアル質問応答(rsvqa)は、自然言語とのヒューマンマシンインタラクションを可能にすることで、一般大衆がオーバーヘッドイメージを使用する新たな機会を開く。 自然言語処理とコンピュータビジョンの最近の進歩に基づき、RSVQAの目的は、リモートセンシング画像に関する自然言語で定式化された質問に答えることである。 言語理解はタスクの成功には不可欠であるが,RSVQAでは十分に検討されていない。 特に、言語バイアスの問題は、しばしばリモートセンシングコミュニティで見落とされ、モデルの堅牢性に影響を与え、モデルの性能に関する誤った結論につながる可能性がある。 そこで本研究では,視覚障害者モデル,逆テスト,データセット分析という3種類の分析戦略を用いて,rsvqaにおける言語バイアスの問題を強調する。 この分析はモデルとデータの両方に焦点を当てている。 さらに,この問題に敏感な,より有益で補完的な評価指標の使用を動機付ける。 rsvqaにおける言語バイアスの重みは、画像データを捨てるモデルのトレーニングと推論中の視覚入力の操作によって、これらすべての方法に対して露呈される。 最後に、質問応答分布の詳細な解析により、データ自体の問題の根本が示される。 この分析研究により、リモートセンシングのバイアスは標準のVQAよりも深刻であることが判明した。これは、例えば、地理的類似性や空間性など、タスクのための既存のリモートセンシングデータセットの特異性や、より単純な語彙や質問生成戦略によるものであると考えられる。 新たな,改良された,バイアスの少ないデータセットは,RSVQAの有望な分野を開発する上で必要とされているが,今後のRSVQA手法の結果を透過的に伝達するためには,より情報的かつ相対的な評価指標が依然として必要であることを示す。

関連論文リスト

• Large Vision-Language Models for Remote Sensing Visual Question Answering [0.0]
  リモートセンシング視覚質問回答(RSVQA)は、複雑な衛星画像の自然言語質問への答えを解釈する難しいタスクである。 伝統的なアプローチは、しばしば別々の視覚特徴抽出器と言語処理モデルに依存しており、計算集約的で、オープンエンドの質問を扱う能力に制限がある。 RSVQAプロセスの合理化にLVLM(Large Vision-Language Model)を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-16T18:32:38Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• Robust Visual Question Answering: Datasets, Methods, and Future Challenges [23.59923999144776]
  視覚的な質問応答には、画像と自然言語の質問に与えられた正確な自然言語の回答を提供するシステムが必要である。 従来の一般的なVQA手法は、答えを予測する前に画像のグラウンド化など適切な振る舞いを学ぶのではなく、トレーニングデータに存在するバイアスを記憶する傾向がある。 VQAのロバスト性を評価するために,様々なデータセットとデバイアス法が提案されている。
  論文  参考訳（メタデータ） (2023-07-21T10:12:09Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Overcoming Language Bias in Remote Sensing Visual Question Answering via Adversarial Training [22.473676537463607]
  VQA(Visual Question Answering)モデルは、一般的に言語バイアスの課題に直面します。 リモートセンシングデータに対するVQAの言語バイアスを低減するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-01T09:32:45Z)
• Multilingual Augmentation for Robust Visual Question Answering in Remote Sensing Images [19.99615698375829]
  多様な質問テンプレートや単語に対して頑健なRSVQAモデルをトレーニングするための対照的な学習戦略を提案する。 実験の結果,提案手法はRSVQAモデルのロバスト性向上に有効であることが示された。
  論文  参考訳（メタデータ） (2023-04-07T21:06:58Z)
• Overcoming Language Priors with Self-supervised Learning for Visual Question Answering [62.88124382512111]
  ほとんどのビジュアル質問回答(VQA)モデルは、言語の先行問題に苦しんでいます。 この問題を解決するための自己監督学習フレームワークを紹介します。 我々の手法は最先端の手法を大きく上回ることができる。
  論文  参考訳（メタデータ） (2020-12-17T12:30:12Z)
• Learning from Lexical Perturbations for Consistent Visual Question Answering [78.21912474223926]
  既存のVisual Question Answering (VQA)モデルは、しばしば脆弱で入力のバリエーションに敏感である。 本稿では,モジュール型ネットワークに基づく新たなアプローチを提案し,言語摂動による2つの疑問を提起する。 VQA Perturbed Pairings (VQA P2) も提案する。
  論文  参考訳（メタデータ） (2020-11-26T17:38:03Z)
• Loss re-scaling VQA: Revisiting the LanguagePrior Problem from a Class-imbalance View [129.392671317356]
  本稿では,クラス不均衡の観点から,VQAにおける言語先行問題を理解することを提案する。 これは、なぜVQAモデルが頻繁に、そして明らかに間違った答えをもたらすのかを明確に示している。 また,顔認識や画像分類などの他のコンピュータビジョンタスクに対して,クラス不均衡解釈方式の有効性を正当化する。
  論文  参考訳（メタデータ） (2020-10-30T00:57:17Z)
• On the General Value of Evidence, and Bilingual Scene-Text Visual Question Answering [120.64104995052189]
  本稿では,2つの言語で表現された質問を含む,この問題に対処するための一歩を踏み出したデータセットを提案する。 推論を測定することは、偶然に正しい答えを罰することによって、直接一般化を促進する。 データセットはVQA問題のシーンテキストバージョンを反映しており、推論評価は参照表現課題のテキストベースのバージョンと見なすことができる。
  論文  参考訳（メタデータ） (2020-02-24T13:02:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。