論文の概要: Language Semantic Graph Guided Data-Efficient Learning

• arxiv url: http://arxiv.org/abs/2311.08782v1
• Date: Wed, 15 Nov 2023 08:54:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 16:48:27.544054
• Title: Language Semantic Graph Guided Data-Efficient Learning
• Title（参考訳）: 言語意味グラフ誘導データ効率学習
• Authors: Wenxuan Ma and Shuang Li and Lincan Cai and Jingxuan Kang
• Abstract要約: 本稿では,自然言語記述として表されるラベルから構築した言語意味グラフ(LSG)を紹介する。 補助グラフニューラルネットワークは、ハイレベルな意味関係を抽出し、プライマリモデルのトレーニングをガイドするために使用される。 奥行き分析の結果,LSG法はトレーニングプロセスの高速化にも寄与することがわかった。
• 参考スコア（独自算出の注目度）: 10.039953846594805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing generalizable models that can effectively learn from limited data and with minimal reliance on human supervision is a significant objective within the machine learning community, particularly in the era of deep neural networks. Therefore, to achieve data-efficient learning, researchers typically explore approaches that can leverage more related or unlabeled data without necessitating additional manual labeling efforts, such as Semi-Supervised Learning (SSL), Transfer Learning (TL), and Data Augmentation (DA). SSL leverages unlabeled data in the training process, while TL enables the transfer of expertise from related data distributions. DA broadens the dataset by synthesizing new data from existing examples. However, the significance of additional knowledge contained within labels has been largely overlooked in research. In this paper, we propose a novel perspective on data efficiency that involves exploiting the semantic information contained in the labels of the available data. Specifically, we introduce a Language Semantic Graph (LSG) which is constructed from labels manifest as natural language descriptions. Upon this graph, an auxiliary graph neural network is trained to extract high-level semantic relations and then used to guide the training of the primary model, enabling more adequate utilization of label knowledge. Across image, video, and audio modalities, we utilize the LSG method in both TL and SSL scenarios and illustrate its versatility in significantly enhancing performance compared to other data-efficient learning approaches. Additionally, our in-depth analysis shows that the LSG method also expedites the training process.
• Abstract（参考訳）: 限られたデータから効果的に学習し、人間の監督への依存を最小限に抑えた一般化可能なモデルを開発することは、機械学習コミュニティ、特にディープニューラルネットワークの時代において重要な目標である。 したがって、データ効率の学習を実現するため、研究者は通常、セミスーパービジョンラーニング(SSL)、トランスファーラーニング(TL)、データ拡張(DA)といった追加のマニュアルラベリング作業を必要とせずに、関連データやラベルなしデータを活用できるアプローチを模索する。 SSLはトレーニングプロセスでラベルのないデータを活用するが、TLは関連するデータディストリビューションからの専門知識の転送を可能にする。 DAは既存の例から新しいデータを合成することでデータセットを広げる。 しかし、ラベルに含まれる追加の知識の重要性は、主に研究で見過ごされている。 本稿では,利用可能なデータのラベルに含まれる意味情報を活用し,データ効率に関する新たな視点を提案する。 具体的には,ラベルを自然言語記述として表現した言語意味グラフ(lsg)を提案する。 このグラフでは、補助グラフニューラルネットワークを訓練して、高レベルの意味関係を抽出し、プライマリモデルのトレーニングをガイドし、ラベル知識をより適切に活用できるようにする。 画像, ビデオ, オーディオのモダリティ全体にわたって, LSG法をTLとSSLの両方のシナリオで使用し, その他のデータ効率の学習手法と比較して, 性能の大幅な向上を図っている。 さらに,本研究では,lsg法がトレーニングプロセスを高速化することを示す。

関連論文リスト

• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• A Survey of the Self Supervised Learning Mechanisms for Vision Transformers [5.152455218955949]
  視覚タスクにおける自己教師あり学習(SSL)の適用は注目されている。 SSL手法を体系的に分類する包括的分類法を開発した。 SSLの背後にあるモチベーションについて議論し、人気のある事前トレーニングタスクをレビューし、この分野の課題と進歩を強調します。
  論文  参考訳（メタデータ） (2024-08-30T07:38:28Z)
• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• Does Decentralized Learning with Non-IID Unlabeled Data Benefit from Self Supervision? [51.00034621304361]
  自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究 本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2022-10-20T01:32:41Z)
• Self-supervised on Graphs: Contrastive, Generative,or Predictive [25.679620842010422]
  SSL(Self-supervised Learning)は、よく設計されたプリテキストタスクを通じて有益な知識を抽出するための新しいパラダイムとして登場しています。 既存のグラフSSLメソッドは、コントラスト、生成、予測の3つのカテゴリに分けられる。 また、一般的なデータセット、評価メトリクス、下流タスク、さまざまなアルゴリズムのオープンソース実装をまとめています。
  論文  参考訳（メタデータ） (2021-05-16T03:30:03Z)
• Graph-based Semi-supervised Learning: A Comprehensive Review [51.26862262550445]
  半教師付き学習(ssl)はラベル付きデータとラベルなしデータの両方を利用する能力があるため、実際非常に価値があります。 重要なSSLメソッドのクラスは、グラフベースの半教師付き学習(GSSL)メソッドに対応するグラフとしてデータを自然に表現することです。 GSSLメソッドは、構造のユニークさ、アプリケーションの普遍性、大規模データへのスケーラビリティのために、さまざまなドメインでその利点を実証しています。
  論文  参考訳（メタデータ） (2021-02-26T05:11:09Z)
• Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning [64.98816284854067]
  グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。 本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-15T13:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。