Fugu-MT 論文翻訳(概要): Will Multi-modal Data Improves Few-shot Learning?

論文の概要: Will Multi-modal Data Improves Few-shot Learning?

arxiv url: http://arxiv.org/abs/2107.11853v1
Date: Sun, 25 Jul 2021 17:34:44 GMT
ステータス: 処理完了
システム内更新日: 2021-07-27 16:05:14.909154
Title: Will Multi-modal Data Improves Few-shot Learning?
Title（参考訳）: マルチモーダルデータによるショット学習は改善されるか?
Authors: Zilun Zhang, Shihao Ma, Yichun Zhang
Abstract要約: 画像特徴とテキスト特徴を組み合わせた4種類の融合法を提案する。注意に基づく融合法が最も有効であり、分類精度を30%程度向上させる。
参考スコア（独自算出の注目度）: 1.0742675209112622
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Most few-shot learning models utilize only one modality of data. We would like to investigate qualitatively and quantitatively how much will the model improve if we add an extra modality (i.e. text description of the image), and how it affects the learning procedure. To achieve this goal, we propose four types of fusion method to combine the image feature and text feature. To verify the effectiveness of improvement, we test the fusion methods with two classical few-shot learning models - ProtoNet and MAML, with image feature extractors such as ConvNet and ResNet12. The attention-based fusion method works best, which improves the classification accuracy by a large margin around 30% comparing to the baseline result.
Abstract（参考訳）: ほとんどの少数ショット学習モデルはデータの1つのモダリティのみを使用する。余剰モダリティ(つまり余剰モダリティ)を加えると、モデルがどのように改善するかを質的かつ定量的に調べたい。画像のテキスト記述)とそれが学習手順にどのように影響するか。この目的を達成するために,画像特徴とテキスト特徴を組み合わせた4種類の融合法を提案する。改良の有効性を検証するため,2つの古典的数ショット学習モデルであるProtoNetとMAMLと,ConvNetやResNet12などの画像特徴抽出器を用いた融合手法を検証した。注意に基づく融合法が最もよく機能し, 基準値と比較した場合, 分類精度を約30%向上させる。

関連論文リスト

Self-Supervised Learning in Deep Networks: A Pathway to Robust Few-Shot Classification [0.0]
まず、ラベルのない大量のデータから共通特徴表現を学習できるように、自己スーパービジョンでモデルを事前訓練する。その後、数ショットのデータセットMini-ImageNetで微調整を行い、限られたデータの下でモデルの精度と一般化能力を改善する。
論文参考訳（メタデータ） (2024-11-19T01:01:56Z)
MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。所望のプロパティを統一する単段および単段のMOCAを提案する。我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文参考訳（メタデータ） (2023-07-18T15:46:20Z)
Joint Adaptive Representations for Image-Language Learning [59.40890927221377]
画像言語学習のためのレシピを提案し、より大きくて高価なものよりも優れたモデルを作成し、しばしば桁違いに大きなデータセットで訓練する。我々の重要な発見は、適応的かつ反復的にマルチモーダルな特徴を融合させる、コンパクトな視覚と言語表現の連成学習である。たった4000万のトレーニング例と39のGFLOPで、私たちの軽量モデルは、2～20倍以上のFLOPの最先端モデルで、さらに大きなデータセットを使用して、1B近くのトレーニング例で何倍もパフォーマンスを上げています。
論文参考訳（メタデータ） (2023-05-31T15:02:02Z)
Learning Customized Visual Models with Retrieval-Augmented Knowledge [104.05456849611895]
我々は、ターゲットドメイン用にカスタマイズされたビジュアルモデルを構築するための、関連するWeb知識を取得するためのフレームワークであるREACTを提案する。我々は、Webスケールデータベースから最も関連性の高い画像テキストペアを外部知識として検索し、元の重みをすべて凍結しながら、新しいモジュール化されたブロックをトレーニングするだけで、モデルをカスタマイズすることを提案する。 REACTの有効性は、ゼロ、少数、フルショット設定を含む分類、検索、検出、セグメンテーションタスクに関する広範な実験を通じて実証される。
論文参考訳（メタデータ） (2023-01-17T18:59:06Z)
Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
論文参考訳（メタデータ） (2022-12-04T07:26:24Z)
Part-Based Models Improve Adversarial Robustness [57.699029966800644]
人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
論文参考訳（メタデータ） (2022-09-15T15:41:47Z)
CLMLF:A Contrastive Learning and Multi-Layer Fusion Method for Multimodal Sentiment Detection [24.243349217940274]
マルチモーダル感情検出のためのコントラスト学習・多層融合法(CLMLF)を提案する。具体的には、まずテキストと画像をエンコードして隠れ表現を取得し、次に多層融合モジュールを使用してテキストと画像のトークンレベルの特徴を整列し、融合する。また、感情分析タスクに加えて、ラベルベースコントラスト学習とデータベースコントラスト学習という2つのコントラスト学習タスクを設計した。
論文参考訳（メタデータ） (2022-04-12T04:03:06Z)
Few-Shot Learning for Image Classification of Common Flora [0.0]
MAML(Model-Agnostic Meta Learning)を用いた画像分類のためのメタラーニング分野の最先端の研究と、さまざまな最先端のトランスファーラーニングウェイトとアーキテクチャをテストした結果を紹介します。その結果、データセットが十分に大きい場合、両方のプラクティスが十分なパフォーマンスを提供しますが、十分なパフォーマンスを維持するためにデータスパーシャビリティが導入されると、どちらも苦労しています。
論文参考訳（メタデータ） (2021-05-07T03:54:51Z)
Shape-Texture Debiased Neural Network Training [50.6178024087048]
畳み込みニューラルネットワークは、トレーニングデータセットによって、テクスチャまたは形状にバイアスされることが多い。形状・テクスチャ・デバイアスド学習のためのアルゴリズムを開発した。実験により,本手法は複数の画像認識ベンチマークにおけるモデル性能の向上に成功していることが示された。
論文参考訳（メタデータ） (2020-10-12T19:16:12Z)
Augmented Bi-path Network for Few-shot Learning [16.353228724916505]
マルチスケールでグローバル機能とローカル機能を比較するために,Augmented Bi-path Network (ABNet)を提案する。具体的には、各画像の局所的な特徴として、有能なパッチを抽出し、埋め込みする。その後、モデルは、より堅牢な機能を強化するために、その機能を強化することを学習する。
論文参考訳（メタデータ） (2020-07-15T11:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。