論文の概要: Language Semantic Graph Guided Data-Efficient Learning
- arxiv url: http://arxiv.org/abs/2311.08782v1
- Date: Wed, 15 Nov 2023 08:54:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 16:48:27.544054
- Title: Language Semantic Graph Guided Data-Efficient Learning
- Title(参考訳): 言語意味グラフ誘導データ効率学習
- Authors: Wenxuan Ma and Shuang Li and Lincan Cai and Jingxuan Kang
- Abstract要約: 本稿では,自然言語記述として表されるラベルから構築した言語意味グラフ(LSG)を紹介する。
補助グラフニューラルネットワークは、ハイレベルな意味関係を抽出し、プライマリモデルのトレーニングをガイドするために使用される。
奥行き分析の結果,LSG法はトレーニングプロセスの高速化にも寄与することがわかった。
- 参考スコア(独自算出の注目度): 10.039953846594805
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developing generalizable models that can effectively learn from limited data
and with minimal reliance on human supervision is a significant objective
within the machine learning community, particularly in the era of deep neural
networks. Therefore, to achieve data-efficient learning, researchers typically
explore approaches that can leverage more related or unlabeled data without
necessitating additional manual labeling efforts, such as Semi-Supervised
Learning (SSL), Transfer Learning (TL), and Data Augmentation (DA). SSL
leverages unlabeled data in the training process, while TL enables the transfer
of expertise from related data distributions. DA broadens the dataset by
synthesizing new data from existing examples. However, the significance of
additional knowledge contained within labels has been largely overlooked in
research. In this paper, we propose a novel perspective on data efficiency that
involves exploiting the semantic information contained in the labels of the
available data. Specifically, we introduce a Language Semantic Graph (LSG)
which is constructed from labels manifest as natural language descriptions.
Upon this graph, an auxiliary graph neural network is trained to extract
high-level semantic relations and then used to guide the training of the
primary model, enabling more adequate utilization of label knowledge. Across
image, video, and audio modalities, we utilize the LSG method in both TL and
SSL scenarios and illustrate its versatility in significantly enhancing
performance compared to other data-efficient learning approaches. Additionally,
our in-depth analysis shows that the LSG method also expedites the training
process.
- Abstract(参考訳): 限られたデータから効果的に学習し、人間の監督への依存を最小限に抑えた一般化可能なモデルを開発することは、機械学習コミュニティ、特にディープニューラルネットワークの時代において重要な目標である。
したがって、データ効率の学習を実現するため、研究者は通常、セミスーパービジョンラーニング(SSL)、トランスファーラーニング(TL)、データ拡張(DA)といった追加のマニュアルラベリング作業を必要とせずに、関連データやラベルなしデータを活用できるアプローチを模索する。
SSLはトレーニングプロセスでラベルのないデータを活用するが、TLは関連するデータディストリビューションからの専門知識の転送を可能にする。
DAは既存の例から新しいデータを合成することでデータセットを広げる。
しかし、ラベルに含まれる追加の知識の重要性は、主に研究で見過ごされている。
本稿では,利用可能なデータのラベルに含まれる意味情報を活用し,データ効率に関する新たな視点を提案する。
具体的には,ラベルを自然言語記述として表現した言語意味グラフ(lsg)を提案する。
このグラフでは、補助グラフニューラルネットワークを訓練して、高レベルの意味関係を抽出し、プライマリモデルのトレーニングをガイドし、ラベル知識をより適切に活用できるようにする。
画像, ビデオ, オーディオのモダリティ全体にわたって, LSG法をTLとSSLの両方のシナリオで使用し, その他のデータ効率の学習手法と比較して, 性能の大幅な向上を図っている。
さらに,本研究では,lsg法がトレーニングプロセスを高速化することを示す。
関連論文リスト
- ExGRG: Explicitly-Generated Relation Graph for Self-Supervised
Representation Learning [4.849793213021942]
自己教師型学習は、ディープラーニングモデルの事前学習において、強力なテクニックとして登場した。
本稿では,合成関係グラフを明示的に生成する新しい非競合SSL手法を提案する。
論文 参考訳(メタデータ) (2024-02-09T19:16:04Z) - Efficient Large Language Models Fine-Tuning On Graphs [23.19795835873144]
Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。
本稿では,TAG上でのLarge Language Models (LLMs) のエンドツーエンド微調整のための新しい,効率的なアプローチについて紹介する。
論文 参考訳(メタデータ) (2023-12-07T22:35:16Z) - Robotic Skill Acquisition via Instruction Augmentation with
Vision-Language Models [70.82705830137708]
言語条件制御のためのデータ駆動型インストラクション拡張(DIAL)について紹介する。
我々は,CLIPのセマンティック理解を利用したセミ言語ラベルを用いて,未知の実演データの大規模なデータセットに知識を伝達する。
DIALは、模倣学習ポリシーによって、新しい能力を獲得し、元のデータセットにない60の新しい命令を一般化することができる。
論文 参考訳(メタデータ) (2022-11-21T18:56:00Z) - Does Decentralized Learning with Non-IID Unlabeled Data Benefit from
Self Supervision? [51.00034621304361]
自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究
本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
論文 参考訳(メタデータ) (2022-10-20T01:32:41Z) - A Survey of Learning on Small Data: Generalization, Optimization, and
Challenge [101.27154181792567]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。
この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。
効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文 参考訳(メタデータ) (2022-07-29T02:34:19Z) - Self-supervised on Graphs: Contrastive, Generative,or Predictive [25.679620842010422]
SSL(Self-supervised Learning)は、よく設計されたプリテキストタスクを通じて有益な知識を抽出するための新しいパラダイムとして登場しています。
既存のグラフSSLメソッドは、コントラスト、生成、予測の3つのカテゴリに分けられる。
また、一般的なデータセット、評価メトリクス、下流タスク、さまざまなアルゴリズムのオープンソース実装をまとめています。
論文 参考訳(メタデータ) (2021-05-16T03:30:03Z) - Graph-based Semi-supervised Learning: A Comprehensive Review [51.26862262550445]
半教師付き学習(ssl)はラベル付きデータとラベルなしデータの両方を利用する能力があるため、実際非常に価値があります。
重要なSSLメソッドのクラスは、グラフベースの半教師付き学習(GSSL)メソッドに対応するグラフとしてデータを自然に表現することです。
GSSLメソッドは、構造のユニークさ、アプリケーションの普遍性、大規模データへのスケーラビリティのために、さまざまなドメインでその利点を実証しています。
論文 参考訳(メタデータ) (2021-02-26T05:11:09Z) - Contrastive and Generative Graph Convolutional Networks for Graph-based
Semi-Supervised Learning [64.98816284854067]
グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。
本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-09-15T13:59:28Z) - Uncovering the structure of clinical EEG signals with self-supervised
learning [64.4754948595556]
教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。
この現象は脳波(EEG)などの臨床関連データに特に問題となる。
ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
論文 参考訳(メタデータ) (2020-07-31T14:34:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。