Fugu-MT 論文翻訳(概要): Self-Regulated Data-Free Knowledge Amalgamation for Text Classification

論文の概要: Self-Regulated Data-Free Knowledge Amalgamation for Text Classification

arxiv url: http://arxiv.org/abs/2406.15476v1
Date: Sun, 16 Jun 2024 21:13:30 GMT
ステータス: 処理完了
システム内更新日: 2024-07-01 07:01:19.462553
Title: Self-Regulated Data-Free Knowledge Amalgamation for Text Classification
Title（参考訳）: テキスト分類のための自己制御型データ自由知識アマルガメーション
Authors: Prashanth Vijayaraghavan, Hongzhi Wang, Luyao Shi, Tyler Baldwin, David Beymer, Ehsan Degan,
Abstract要約: そこで我々は,複数の教師モデルから学習できる軽量な学生ネットワークを構築した。そこで本研究では,各教師に適したテキストデータを生成するモデリングフレームワークSTRATANETを提案する。本手法は,ラベルやドメインの異なる3つのベンチマークテキスト分類データセットを用いて評価する。
参考スコア（独自算出の注目度）: 9.169836450935724
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, there has been a growing availability of pre-trained text models on various model repositories. These models greatly reduce the cost of training new models from scratch as they can be fine-tuned for specific tasks or trained on large datasets. However, these datasets may not be publicly accessible due to the privacy, security, or intellectual property issues. In this paper, we aim to develop a lightweight student network that can learn from multiple teacher models without accessing their original training data. Hence, we investigate Data-Free Knowledge Amalgamation (DFKA), a knowledge-transfer task that combines insights from multiple pre-trained teacher models and transfers them effectively to a compact student network. To accomplish this, we propose STRATANET, a modeling framework comprising: (a) a steerable data generator that produces text data tailored to each teacher and (b) an amalgamation module that implements a self-regulative strategy using confidence estimates from the teachers' different layers to selectively integrate their knowledge and train a versatile student. We evaluate our method on three benchmark text classification datasets with varying labels or domains. Empirically, we demonstrate that the student model learned using our STRATANET outperforms several baselines significantly under data-driven and data-free constraints.
Abstract（参考訳）: 最近、様々なモデルリポジトリで事前訓練されたテキストモデルが利用可能になっている。これらのモデルは、特定のタスクのために微調整したり、大規模なデータセットでトレーニングできるため、新しいモデルをスクラッチからトレーニングするコストを大幅に削減します。しかし、これらのデータセットは、プライバシー、セキュリティ、知的財産権の問題のために、一般にはアクセスできないかもしれない。本稿では,複数の教師モデルから学習できる軽量な学生ネットワークを開発することを目的としている。そこで,本研究では,複数の教師モデルから得られた知見を組み合わせて,学生ネットワークに効果的に伝達する知識伝達タスクであるData-Free Knowledge Amalgamation(DFKA)について検討する。そこで本研究では,以下のモデリングフレームワークであるSTRATANETを提案する。 (a)各教師がカスタマイズしたテキストデータを生成するステアブルデータ生成装置及び (b)教師の異なる階層からの信頼度推定を用いて自己統制戦略を実装し、知識を選択的に統合し、多目的学生を訓練するアマルガメーションモジュール。本手法は,ラベルやドメインの異なる3つのベンチマークテキスト分類データセットを用いて評価する。実験により、STRATANETを用いて学習した学生モデルは、データ駆動およびデータフリー制約下で、いくつかのベースラインを著しく上回ることを示した。

関連論文リスト

Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文参考訳（メタデータ） (2024-10-22T06:43:28Z)
Few-Shot Class-Incremental Learning with Non-IID Decentralized Data [12.472285188772544]
スケーラブルで適応的なインテリジェントなシステムを開発するには、クラスインクリメンタルな学習が不可欠だ。本稿では、分散機械学習パラダイムであるフェデレートされた数発のクラスインクリメンタルラーニングを紹介する。本稿では,リプレイバッファデータを利用して既存の知識を維持し,新たな知識の獲得を促進する合成データ駆動フレームワークを提案する。
論文参考訳（メタデータ） (2024-09-18T02:48:36Z)
Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文参考訳（メタデータ） (2023-10-26T17:59:46Z)
From Zero to Hero: Detecting Leaked Data through Synthetic Data Injection and Model Querying [10.919336198760808]
分類モデルの学習に使用される漏洩データを検出する新しい手法を提案する。 textscLDSSは、クラス分散の局所的なシフトによって特徴付けられる、少量の合成データを所有者のデータセットに注入する。これにより、モデルクエリ単独で、リークデータに基づいてトレーニングされたモデルの効果的な識別が可能になる。
論文参考訳（メタデータ） (2023-10-06T10:36:28Z)
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment [52.704331909850026]
我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
論文参考訳（メタデータ） (2022-11-23T19:27:48Z)
Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
論文参考訳（メタデータ） (2022-05-08T08:19:40Z)
Multi-Task Self-Training for Learning General Representations [97.01728635294879]
マルチタスク・セルフトレーニング(MuST)は、独立した専門教師モデルにおける知識を活用して、一人の一般学生モデルを訓練する。 MuSTはラベルなしまたは部分的にラベル付けされたデータセットでスケーラブルで、大規模データセットのトレーニングにおいて、特別な教師付きモデルとセルフ教師付きモデルの両方を上回っている。
論文参考訳（メタデータ） (2021-08-25T17:20:50Z)
Fuzzy Simplicial Networks: A Topology-Inspired Model to Improve Task Generalization in Few-shot Learning [1.0062040918634414]
少ないショット学習アルゴリズムは、限られたデータで新しいタスクをうまく一般化するように設計されている。本稿では,Fizzy Simplicial Networks (FSN) と呼ばれる,トポロジから構築したモデルを用いて,限られたデータから各クラスをより柔軟に表現する手法を提案する。
論文参考訳（メタデータ） (2020-09-23T17:01:09Z)
Evaluation Framework For Large-scale Federated Learning [10.127616622630514]
フェデレーテッド・ラーニングは、携帯電話などの分散型エッジデバイスが協調して共有予測モデルを学習できるようにするための機械学習環境として提案されている。本稿では,データセットとモジュール型評価フレームワークを生成するためのアプローチからなる,大規模フェデレーション学習のためのフレームワークを提案する。
論文参考訳（メタデータ） (2020-03-03T15:12:13Z)
DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
論文参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。