Fugu-MT 論文翻訳(概要): Curriculum Learning for Compositional Visual Reasoning

論文の概要: Curriculum Learning for Compositional Visual Reasoning

arxiv url: http://arxiv.org/abs/2303.15006v1
Date: Mon, 27 Mar 2023 08:47:18 GMT
ステータス: 処理完了
システム内更新日: 2023-03-28 16:17:24.883189
Title: Curriculum Learning for Compositional Visual Reasoning
Title（参考訳）: 合成視覚推論のためのカリキュラム学習
Authors: Wafa Aissa (CEDRIC - VERTIGO), Marin Ferecatu (CEDRIC - VERTIGO), Michel Crucianu (CEDRIC - VERTIGO)
Abstract要約: 本稿では,GQAデータセット上での学習を温めるために,クロスモーダルな埋め込みに依存するNMN法を提案する。 CL法を適切に選択することにより,トレーニングコストとトレーニングデータの量を大幅に削減できることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Visual Question Answering (VQA) is a complex task requiring large datasets and expensive training. Neural Module Networks (NMN) first translate the question to a reasoning path, then follow that path to analyze the image and provide an answer. We propose an NMN method that relies on predefined cross-modal embeddings to ``warm start'' learning on the GQA dataset, then focus on Curriculum Learning (CL) as a way to improve training and make a better use of the data. Several difficulty criteria are employed for defining CL methods. We show that by an appropriate selection of the CL method the cost of training and the amount of training data can be greatly reduced, with a limited impact on the final VQA accuracy. Furthermore, we introduce intermediate losses during training and find that this allows to simplify the CL strategy.
Abstract（参考訳）: VQA(Visual Question Answering)は、大規模なデータセットと高価なトレーニングを必要とする複雑なタスクである。 Neural Module Networks (NMN) はまず質問を推論パスに変換し、そのパスに従って画像を分析し、回答を提供する。本稿では,GQAデータセット上での‘ウォームスタート’学習に事前定義されたクロスモーダル埋め込みに依存したNMN手法を提案する。 CLメソッドの定義にはいくつかの難易度基準が採用されている。 CL法を適宜選択することにより,トレーニングコストとトレーニングデータの量を大幅に削減し,最終的なVQA精度に限られた影響を与えることを示す。さらに,訓練中に中間損失を導入し,cl戦略を単純化できることを見いだす。

関連論文リスト

Does the Definition of Difficulty Matter? Scoring Functions and their Role for Curriculum Learning [42.4526628515253]
CL(Curriculum Learning)は、サンプルを学習プロセスに徐々に導入する機械学習トレーニング戦略である。サンプル難易度推定のための最も一般的なスコアリング関数のロバスト性と類似性について検討する。その結果,ランダムシード間のスコアリング関数のロバスト性はCL性能と正の相関関係があることが判明した。
論文参考訳（メタデータ） (2024-11-01T18:55:31Z)
Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
論文参考訳（メタデータ） (2024-07-11T18:01:58Z)
Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
低データ体制における教師なし事前学習のための新しい手法を提案する。最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
論文参考訳（メタデータ） (2024-05-22T06:48:43Z)
Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
論文参考訳（メタデータ） (2024-04-19T10:10:39Z)
How Much Data are Enough? Investigating Dataset Requirements for Patch-Based Brain MRI Segmentation Tasks [74.21484375019334]
ディープニューラルネットワークを確実にトレーニングするには、大規模なデータセットへのアクセスが必要である。モデル開発に関連する時間的・経済的コストを緩和するためには,満足度の高いモデルをトレーニングするために必要なデータの量を明確に理解することが重要である。本稿では,パッチベースのセグメンテーションネットワークのトレーニングに必要なアノテートデータの量を推定するための戦略的枠組みを提案する。
論文参考訳（メタデータ） (2024-04-04T13:55:06Z)
Unlearnable Algorithms for In-context Learning [36.895152458323764]
本稿では,事前訓練された大規模言語モデルのタスク適応フェーズに対する効率的なアンラーニング手法に着目した。タスク適応のための文脈内学習を行うLLMの能力は、タスク適応トレーニングデータの効率的なアンラーニングを可能にする。本稿では,様々な推論コストを考慮に入れた非学習コストの包括的尺度を提案する。
論文参考訳（メタデータ） (2024-02-01T16:43:04Z)
Dealing with Cross-Task Class Discrimination in Online Continual Learning [54.31411109376545]
本稿では,クラスインクリメンタルラーニング(CIL)における新たな課題について論じる。新しいタスクのクラスと古いタスクの間の決定境界を、古いタスクデータへの(あるいは制限された)アクセスなしで設定する方法。リプレイ方式では、前のタスクから少量のデータ(再生データ)を節約する。現在のタスクデータのバッチが到着すると、システムは、新しいデータとサンプルデータとを共同でトレーニングする。本稿では,リプレイ手法には動的トレーニングバイアスの問題があり,CTCD問題の解法におけるリプレイデータの有効性を低下させる。
論文参考訳（メタデータ） (2023-05-24T02:52:30Z)
Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文参考訳（メタデータ） (2023-05-20T19:22:40Z)
CL-CrossVQA: A Continual Learning Benchmark for Cross-Domain Visual Question Answering [31.983067109848342]
CL-CrossVQAは、クロスドメイン視覚質問応答のための厳密な連続学習ベンチマークである。我々は,4つのVLPM,4つのCLアプローチ,および5つのVQAデータセットに関する広範囲な実験を行った。
論文参考訳（メタデータ） (2022-11-19T02:43:30Z)
Continual Lifelong Learning in Natural Language Processing: A Survey [3.9103337761169943]
連続学習(continual learning, cl)は,情報システムが時間を越えた連続的なデータストリームから学ぶことを可能にする。既存のディープラーニングアーキテクチャでは、以前獲得した知識をほとんど忘れずに新しいタスクを学習することは困難である。我々は様々なnlpタスクのレンズを通してclの問題を検討する。
論文参考訳（メタデータ） (2020-12-17T18:44:36Z)
Unshuffling Data for Improved Generalization [65.57124325257409]
トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
論文参考訳（メタデータ） (2020-02-27T03:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。