論文の概要: Learning More May Not Be Better: Knowledge Transferability in Vision and Language Tasks

• arxiv url: http://arxiv.org/abs/2208.10758v1
• Date: Tue, 23 Aug 2022 06:39:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-08-24 12:32:52.842876
• Title: Learning More May Not Be Better: Knowledge Transferability in Vision and Language Tasks
• Title（参考訳）: 学習は改善しないかもしれない - ビジョンと言語タスクにおける知識伝達可能性
• Authors: Tianwei Chen, Noa Garcia, Mayu Otani, Chenhui Chu, Yuta Nakashima, Hajime Nagahara
• Abstract要約: 共通の目標を共有した場合でも,すべての知識の伝達が良好であったり,関連するタスクに肯定的な影響を与えている訳ではない。 4つのグループに分類される12の視覚・言語タスクにおいて、何百もの横断実験に基づいて徹底的な分析を行う。 データセットのサイズや事前学習ステージといった他の要因も、その知識の伝達方法に大きな影響を与えます。
• 参考スコア（独自算出の注目度）: 38.114498708553874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Is more data always better to train vision-and-language models? We study knowledge transferability in multi-modal tasks. The current tendency in machine learning is to assume that by joining multiple datasets from different tasks their overall performance will improve. However, we show that not all the knowledge transfers well or has a positive impact on related tasks, even when they share a common goal. We conduct an exhaustive analysis based on hundreds of cross-experiments on 12 vision-and-language tasks categorized in 4 groups. Whereas tasks in the same group are prone to improve each other, results show that this is not always the case. Other factors such as dataset size or pre-training stage have also a great impact on how well the knowledge is transferred.
• Abstract（参考訳）: より多くのデータがビジョンと言語モデルのトレーニングに適しているか? マルチモーダルタスクにおける知識伝達可能性について検討する。 機械学習の現在の傾向は、異なるタスクから複数のデータセットを結合することで、全体的なパフォーマンスが改善されると仮定している。 しかし,共通目標を共有した場合でも,すべての知識の伝達が良好であったり,関連するタスクに肯定的な影響を与えている訳ではない。 4つのグループに分類される12の視覚・言語課題に対する数百の横断実験に基づく徹底的な分析を行った。 同じグループのタスクは互いに改善する傾向にあるが、結果は必ずしもそうではないことを示している。 データセットのサイズや事前学習ステージといった他の要因も、その知識の伝達方法に大きな影響を与えます。

関連論文リスト

• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Leveraging Visual Knowledge in Language Tasks: An Empirical Study on Intermediate Pre-training for Cross-modal Knowledge Transfer [61.34424171458634]
  視覚的知識を言語モデルに組み込むことがギャップを埋めるかどうかを検討する。 実験の結果,視覚的知識伝達は低リソース環境と完全教師付き環境の両方で性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2022-03-14T22:02:40Z)
• Intra-domain and cross-domain transfer learning for time series data -- How transferable are the features? [0.0]
  本研究の目的は,時系列データの異なる領域間において,転送可能がどのような特徴を持つかを評価することである。 伝達学習の効果は,モデルの予測性能と学習時の収束率の観点から観察される。
  論文  参考訳（メタデータ） (2022-01-12T12:55:21Z)
• Semi-Supervising Learning, Transfer Learning, and Knowledge Distillation with SimCLR [2.578242050187029]
  半教師付き学習の分野における最近のブレークスルーは、最先端の従来の教師付き学習手法と一致する結果を得た。 SimCLRは、コンピュータビジョンのための最先端の半教師付き学習フレームワークである。
  論文  参考訳（メタデータ） (2021-08-02T01:37:39Z)
• Factors of Influence for Transfer Learning across Diverse Appearance Domains and Task Types [50.1843146606122]
  現在の最新のコンピュータビジョンモデルでは、簡単な転送学習が一般的です。 転校学習に関するこれまでの体系的な研究は限られており、作業が期待される状況は十分に理解されていない。 本論文では,非常に異なる画像領域にまたがる転送学習の広範な実験的研究を行う。
  論文  参考訳（メタデータ） (2021-03-24T16:24:20Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• Understanding and Improving Information Transfer in Multi-Task Learning [14.43111978531182]
  すべてのタスクに対して共有モジュール,各タスクに対して別個の出力モジュールを備えたアーキテクチャについて検討する。 タスクデータ間の不一致が負の転送(または性能の低下)を引き起こし、ポジティブな転送に十分な条件を提供することを示す。 理論的洞察から着想を得た結果,タスクの埋め込みレイヤの整合がマルチタスクトレーニングやトランスファー学習のパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-05-02T23:43:52Z)
• Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep Character Recognition [2.320417845168326]
  ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。 1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。 本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
  論文  参考訳（メタデータ） (2020-01-02T14:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。