論文の概要: Enhancing Vietnamese VQA through Curriculum Learning on Raw and Augmented Text Representations

• arxiv url: http://arxiv.org/abs/2503.03285v2
• Date: Thu, 06 Mar 2025 12:42:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 12:14:38.202138
• Title: Enhancing Vietnamese VQA through Curriculum Learning on Raw and Augmented Text Representations
• Title（参考訳）: ベトナム語VQAの強化 : 原文および増補文表現のカリキュラム学習を通して
• Authors: Khoi Anh Nguyen, Linh Yen Vu, Thang Dinh Duong, Thuan Nguyen Duong, Huy Thanh Nguyen, Vinh Quang Dinh,
• Abstract要約: Visual Question Answering (VQA)は、テキスト入力と視覚入力をまたいだ推論を必要とするマルチモーダルタスクである。 従来の手法は、広範囲の注釈付きデータセット、計算コストの高いパイプライン、大規模な事前訓練されたモデルに大きく依存することが多い。 パラフレーズベースの機能拡張モジュールと動的カリキュラム学習戦略を組み合わせたトレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.735112400244042
• License:
• Abstract: Visual Question Answering (VQA) is a multimodal task requiring reasoning across textual and visual inputs, which becomes particularly challenging in low-resource languages like Vietnamese due to linguistic variability and the lack of high-quality datasets. Traditional methods often rely heavily on extensive annotated datasets, computationally expensive pipelines, and large pre-trained models, specifically in the domain of Vietnamese VQA, limiting their applicability in such scenarios. To address these limitations, we propose a training framework that combines a paraphrase-based feature augmentation module with a dynamic curriculum learning strategy. Explicitly, augmented samples are considered "easy" while raw samples are regarded as "hard". The framework then utilizes a mechanism that dynamically adjusts the ratio of easy to hard samples during training, progressively modifying the same dataset to increase its difficulty level. By enabling gradual adaptation to task complexity, this approach helps the Vietnamese VQA model generalize well, thus improving overall performance. Experimental results show consistent improvements on the OpenViVQA dataset and mixed outcomes on the ViVQA dataset, highlighting both the potential and challenges of our approach in advancing VQA for Vietnamese language.
• Abstract（参考訳）: VQA(Visual Question Answering)は、テキスト入力と視覚入力をまたいだ推論を必要とするマルチモーダルタスクである。 伝統的な手法は、大規模な注釈付きデータセット、計算コストの高いパイプライン、大規模な事前訓練されたモデル、特にベトナムのVQAの領域に大きく依存し、そのようなシナリオにおける適用性を制限している。 これらの制約に対処するため,パラフレーズベースの機能拡張モジュールと動的カリキュラム学習戦略を組み合わせたトレーニングフレームワークを提案する。 強化されたサンプルは「簡単」とされ、原サンプルは「硬い」と見なされる。 このフレームワークは、トレーニング中の簡単なサンプルと難しいサンプルの比率を動的に調整し、同じデータセットを段階的に修正して難易度を向上するメカニズムを利用する。 タスク複雑性への段階的な適応を可能にすることにより、ベトナムのVQAモデルを適切に一般化し、全体的なパフォーマンスを向上させる。 実験の結果,OpenViVQAデータセットが一貫した改善とViVQAデータセットの混合結果を示し,ベトナム語のVQA推進におけるアプローチの可能性と課題を浮き彫りにした。

関連論文リスト

• Advancing Vietnamese Visual Question Answering with Transformer and Convolutional Integration [0.40964539027092917]
  本研究は,ベトナムの視覚質問応答データセットを用いて実験を行うことにより,ギャップを埋めることを目的とする。 画像表現能力を向上し,VVQAシステム全体の性能を向上させるモデルを開発した。 実験結果から,本モデルが競合するベースラインを超え,有望な性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-07-30T22:32:50Z)
• Losing Visual Needles in Image Haystacks: Vision Language Models are Easily Distracted in Short and Long Contexts [65.04791072532106]
  視覚言語モデル(VLM)における長文抽出推論評価のためのベンチマークジェネレータであるLoCoVQAを提案する。 LoCoVQAは、数学的推論、VQA、そしてより長い視覚的コンテキストを持つ文字認識タスクのテスト例を拡張している。 このテストは、VLMがクエリに応答する際の無関係な情報をどの程度無視できるかを評価する。
  論文  参考訳（メタデータ） (2024-06-24T17:58:03Z)
• Enhanced Textual Feature Extraction for Visual Question Answering: A Simple Convolutional Approach [2.744781070632757]
  確立されたVQAフレームワーク内の局所的なテキスト機能に焦点をあてた、長距離依存を利用したモデルと、よりシンプルなモデルの比較を行う。 本稿では,畳み込み層を組み込んだモデルであるConvGRUを提案する。 VQA-v2データセットでテストされたConvGRUでは、NumberやCountといった質問タイプに対するベースラインよりも、わずかながら一貫性のある改善が示されている。
  論文  参考訳（メタデータ） (2024-05-01T12:39:35Z)
• ViCLEVR: A Visual Reasoning Dataset and Hybrid Multimodal Fusion Model for Visual Question Answering in Vietnamese [1.6340299456362617]
  ベトナムにおける様々な視覚的推論能力を評価するための先駆的な収集であるViCLEVRデータセットを紹介した。 我々は、現代の視覚的推論システムの包括的な分析を行い、その強みと限界についての貴重な洞察を提供する。 PhoVITは、質問に基づいて画像中のオブジェクトを識別する総合的なマルチモーダル融合である。
  論文  参考訳（メタデータ） (2023-10-27T10:44:50Z)
• Cross-Modal Similarity-Based Curriculum Learning for Image Captioning [46.18855398491187]
  本稿では,事前学習された視覚言語モデルによって計算されたクロスモーダル類似度を用いた画像キャプションの簡易かつ効率的な難易度測定法を提案する。 COCOデータセットとFlickr30kデータセットの実験から,提案手法はベースラインに対する性能と競合収束速度を向上することが示された。
  論文  参考訳（メタデータ） (2022-12-14T07:52:36Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• SimVLM: Simple Visual Language Model Pretraining with Weak Supervision [48.98275876458666]
  SimVLM(Simple Visual Language Model)という,最小限の事前学習フレームワークを提案する。 SimVLMは、大規模な弱監視を活用することで、トレーニングの複雑さを低減する。 様々な識別的および生成的視覚言語ベンチマークにおいて、最先端の新たな結果が得られる。
  論文  参考訳（メタデータ） (2021-08-24T18:14:00Z)
• Learning from Lexical Perturbations for Consistent Visual Question Answering [78.21912474223926]
  既存のVisual Question Answering (VQA)モデルは、しばしば脆弱で入力のバリエーションに敏感である。 本稿では,モジュール型ネットワークに基づく新たなアプローチを提案し,言語摂動による2つの疑問を提起する。 VQA Perturbed Pairings (VQA P2) も提案する。
  論文  参考訳（メタデータ） (2020-11-26T17:38:03Z)
• Video Understanding as Machine Translation [53.59298393079866]
  我々は、単一の統合フレームワークを用いて、様々なダウンストリームビデオ理解タスクに取り組む。 映像分類(EPIC-Kitchens)、質問応答(TVQA)、キャプション(TVC, YouCook2, MSR-VTT)など、いくつかのダウンストリームタスクにおいて、現状よりもパフォーマンスの向上が報告されている。
  論文  参考訳（メタデータ） (2020-06-12T14:07:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。