論文の概要: Curriculum Learning for Compositional Visual Reasoning
- arxiv url: http://arxiv.org/abs/2303.15006v1
- Date: Mon, 27 Mar 2023 08:47:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 16:17:24.883189
- Title: Curriculum Learning for Compositional Visual Reasoning
- Title(参考訳): 合成視覚推論のためのカリキュラム学習
- Authors: Wafa Aissa (CEDRIC - VERTIGO), Marin Ferecatu (CEDRIC - VERTIGO),
Michel Crucianu (CEDRIC - VERTIGO)
- Abstract要約: 本稿では,GQAデータセット上での学習を温めるために,クロスモーダルな埋め込みに依存するNMN法を提案する。
CL法を適切に選択することにより,トレーニングコストとトレーニングデータの量を大幅に削減できることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual Question Answering (VQA) is a complex task requiring large datasets
and expensive training. Neural Module Networks (NMN) first translate the
question to a reasoning path, then follow that path to analyze the image and
provide an answer. We propose an NMN method that relies on predefined
cross-modal embeddings to ``warm start'' learning on the GQA dataset, then
focus on Curriculum Learning (CL) as a way to improve training and make a
better use of the data. Several difficulty criteria are employed for defining
CL methods. We show that by an appropriate selection of the CL method the cost
of training and the amount of training data can be greatly reduced, with a
limited impact on the final VQA accuracy. Furthermore, we introduce
intermediate losses during training and find that this allows to simplify the
CL strategy.
- Abstract(参考訳): VQA(Visual Question Answering)は、大規模なデータセットと高価なトレーニングを必要とする複雑なタスクである。
Neural Module Networks (NMN) はまず質問を推論パスに変換し、そのパスに従って画像を分析し、回答を提供する。
本稿では,GQAデータセット上での‘ウォームスタート’学習に事前定義されたクロスモーダル埋め込みに依存したNMN手法を提案する。
CLメソッドの定義にはいくつかの難易度基準が採用されている。
CL法を適宜選択することにより,トレーニングコストとトレーニングデータの量を大幅に削減し,最終的なVQA精度に限られた影響を与えることを示す。
さらに,訓練中に中間損失を導入し,cl戦略を単純化できることを見いだす。
関連論文リスト
- Unlearnable Algorithms for In-context Learning [36.895152458323764]
本稿では,事前訓練された大規模言語モデルのタスク適応フェーズに対する効率的なアンラーニング手法に着目した。
タスク適応のための文脈内学習を行うLLMの能力は、タスク適応トレーニングデータの効率的なアンラーニングを可能にする。
本稿では,様々な推論コストを考慮に入れた非学習コストの包括的尺度を提案する。
論文 参考訳(メタデータ) (2024-02-01T16:43:04Z) - Understanding In-Context Learning via Supportive Pretraining Data [55.648777340129364]
In-context Learning (ICL)は、推論時にいくつかの例を示すだけで、様々なNLPタスクにおける言語モデルの性能を改善する。
ICLの能力がなぜ出現するかはよく分かっていないが、モデルがそのようなデモで特別に訓練されたことはない。
我々の研究は、インスタンスレベルの事前学習データを分析して、ICLを理解するための第一歩を踏み出した。
論文 参考訳(メタデータ) (2023-06-26T22:14:04Z) - Dealing with Cross-Task Class Discrimination in Online Continual
Learning [54.31411109376545]
本稿では,クラスインクリメンタルラーニング(CIL)における新たな課題について論じる。
新しいタスクのクラスと古いタスクの間の決定境界を、古いタスクデータへの(あるいは制限された)アクセスなしで設定する方法。
リプレイ方式では、前のタスクから少量のデータ(再生データ)を節約する。現在のタスクデータのバッチが到着すると、システムは、新しいデータとサンプルデータとを共同でトレーニングする。
本稿では,リプレイ手法には動的トレーニングバイアスの問題があり,CTCD問題の解法におけるリプレイデータの有効性を低下させる。
論文 参考訳(メタデータ) (2023-05-24T02:52:30Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
計算コストに関して,現在の継続学習(CL)手法を評価した。
簡単なベースラインは、この評価の下で最先端のCL法より優れている。
これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
論文 参考訳(メタデータ) (2023-02-02T12:21:10Z) - CL-CrossVQA: A Continual Learning Benchmark for Cross-Domain Visual
Question Answering [31.983067109848342]
CL-CrossVQAは、クロスドメイン視覚質問応答のための厳密な連続学習ベンチマークである。
我々は,4つのVLPM,4つのCLアプローチ,および5つのVQAデータセットに関する広範囲な実験を行った。
論文 参考訳(メタデータ) (2022-11-19T02:43:30Z) - Where Should I Spend My FLOPS? Efficiency Evaluations of Visual
Pre-training Methods [29.141145775835106]
固定されたFLOP予算が与えられた場合、代表的な視覚的タスクに対して高い正確性を得るために最適なデータセット、モデル、そして(自己監督的な)トレーニング方法は何ですか?
5つの大規模データセット(JFT-300M, ALIGN, ImageNet-1K, ImageNet-21K, COCO)と6つの事前学習方法(CLIP, DINO, SimCLR, BYOL, Masked Autoencoding, and supervised)を検討した。
本稿の結果は,自己管理手法が本質的に大規模で未処理なデータにスケールする,という一般的な仮定に疑問を投げかけるものである。
論文 参考訳(メタデータ) (2022-09-30T17:04:55Z) - Reinforced Meta Active Learning [11.913086438671357]
本稿では,データから直接情報提供度を学習する,オンラインストリームに基づくメタアクティブ学習手法を提案する。
本手法は、強化学習に基づいて、エピソードポリシー検索と文脈的バンディットアプローチを組み合わせたものである。
本研究では,本手法が既存の最先端手法よりも効率的にトレーニングサンプルを選択できることを実データで示す。
論文 参考訳(メタデータ) (2022-03-09T08:36:54Z) - Improving filling level classification with adversarial training [90.01594595780928]
単一画像からカップや飲料グラスのコンテントのレベルを分類する問題について検討する。
汎用ソースデータセットで逆トレーニングを使用し、タスク固有のデータセットでトレーニングを洗練します。
ソース領域における逆学習による伝達学習は,テストセットの分類精度を常に向上させることを示す。
論文 参考訳(メタデータ) (2021-02-08T08:32:56Z) - Continual Lifelong Learning in Natural Language Processing: A Survey [3.9103337761169943]
連続学習(continual learning, cl)は,情報システムが時間を越えた連続的なデータストリームから学ぶことを可能にする。
既存のディープラーニングアーキテクチャでは、以前獲得した知識をほとんど忘れずに新しいタスクを学習することは困難である。
我々は様々なnlpタスクのレンズを通してclの問題を検討する。
論文 参考訳(メタデータ) (2020-12-17T18:44:36Z) - Unshuffling Data for Improved Generalization [65.57124325257409]
トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。
本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
論文 参考訳(メタデータ) (2020-02-27T03:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。