論文の概要: TUTOR: Training Neural Networks Using Decision Rules as Model Priors
- arxiv url: http://arxiv.org/abs/2010.05429v3
- Date: Wed, 16 Feb 2022 01:19:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 05:39:38.892907
- Title: TUTOR: Training Neural Networks Using Decision Rules as Model Priors
- Title（参考訳）: TUTOR:決定ルールをモデル優先としてニューラルネットワークをトレーニングする
- Authors: Shayan Hassantabar, Prerit Terway, and Niraj K. Jha
- Abstract要約: ディープニューラルネットワーク(DNN)は一般的に、トレーニングに大量のデータと計算資源を必要とする。
利用可能な限られたデータとメモリ/計算要求を低減した正確なDNNモデルを合成するためのTUTORフレームワークを提案する。
TUTORは、完全に接続されたDNNと比較して、データの必要性を平均5.9倍に減らし、精度を3.4%改善し、パラメータ(fFLOP)の数を4.7倍(4.3倍)削減することを示した。
- 参考スコア（独自算出の注目度）: 4.0880509203447595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The human brain has the ability to carry out new tasks with limited
experience. It utilizes prior learning experiences to adapt the solution
strategy to new domains. On the other hand, deep neural networks (DNNs)
generally need large amounts of data and computational resources for training.
However, this requirement is not met in many settings. To address these
challenges, we propose the TUTOR DNN synthesis framework. TUTOR targets tabular
datasets. It synthesizes accurate DNN models with limited available data and
reduced memory/computational requirements. It consists of three sequential
steps. The first step involves generation, verification, and labeling of
synthetic data. The synthetic data generation module targets both the
categorical and continuous features. TUTOR generates the synthetic data from
the same probability distribution as the real data. It then verifies the
integrity of the generated synthetic data using a semantic integrity classifier
module. It labels the synthetic data based on a set of rules extracted from the
real dataset. Next, TUTOR uses two training schemes that combine synthetic and
training data to learn the parameters of the DNN model. These two schemes focus
on two different ways in which synthetic data can be used to derive a prior on
the model parameters and, hence, provide a better DNN initialization for
training with real data. In the third step, TUTOR employs a grow-and-prune
synthesis paradigm to learn both the weights and the architecture of the DNN to
reduce model size while ensuring its accuracy. We evaluate the performance of
TUTOR on nine datasets of various sizes. We show that in comparison to fully
connected DNNs, TUTOR, on an average, reduces the need for data by 5.9x,
improves accuracy by 3.4%, and reduces the number of parameters (fFLOPs) by
4.7x (4.3x). Thus, TUTOR enables a less data-hungry, more accurate, and more
compact DNN synthesis.
- Abstract（参考訳）: 人間の脳は、限られた経験で新しいタスクを実行する能力を持っている。
事前学習経験を利用して、ソリューション戦略を新しいドメインに適用する。
一方、ディープニューラルネットワーク(DNN)は一般的に、トレーニングに大量のデータと計算リソースを必要とする。
しかし、この要件は多くの設定で満たされていない。
これらの課題に対処するため,TUTOR DNN合成フレームワークを提案する。
TUTORは表形式のデータセットをターゲットとする。
限られた利用可能なデータとメモリ/計算要求を削減した正確なDNNモデルを合成する。
3つのステップからなる。
最初のステップは、合成データの生成、検証、ラベル付けである。
合成データ生成モジュールは分類的特徴と連続的特徴の両方をターゲットにしている。
TUTORは、実データと同じ確率分布から合成データを生成する。
次に、意味整合性分類モジュールを用いて生成された合成データの完全性を検証する。
実際のデータセットから抽出された一連のルールに基づいて合成データをラベル付けする。
次に、TUTORは合成データとトレーニングデータを組み合わせてDNNモデルのパラメータを学習する2つのトレーニングスキームを使用する。
これらの2つのスキームは、モデルパラメータに先立って合成データを導出する2つの異なる方法に焦点を合わせ、実際のデータでトレーニングするためのより良いDNN初期化を提供する。
第3のステップでは、TUTORは、DNNの重みとアーキテクチャの両方を学習し、その精度を確保しながら、モデルサイズを小さくする。
様々なサイズの9つのデータセットに対してTUTORの性能を評価する。
TUTORは、完全連結DNNと比較して、データの必要性を平均5.9倍に減らし、精度を3.4%改善し、パラメータ数(fFLOP)を4.7倍(4.3倍)に減らした。
したがって、TUTORはより少ないデータ、より正確、よりコンパクトなDNN合成を可能にする。
関連論文リスト
- Little Giants: Synthesizing High-Quality Embedding Data at Scale [71.352883755806]
SPEEDは,オープンソースの小型モデルと協調して大規模な埋め込みデータを効率的に生成するフレームワークである。
SPEEDはGPT API呼び出しの1/10未満しか使用せず、両者が合成データのみに基づいてトレーニングされている場合、最先端の埋め込みモデルE5_mistralよりも優れている。
論文 参考訳（メタデータ） (2024-10-24T10:47:30Z) - Inferring Data Preconditions from Deep Learning Models for Trustworthy
Prediction in Deployment [25.527665632625627]
デプロイ中に見つからないデータを使って、モデルの予測の信頼性を判断することが重要です。
従来のソフトウェアを特定し検証する既存の方法は、このタスクには不十分である。
本稿では、ニューラルネットワーク計算から導出されるルールを用いて、データ前提条件を推論する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-26T03:47:18Z) - Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large
Language Models by Extrapolating Errors from Small Models [69.76066070227452]
※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。
本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。
提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
論文 参考訳（メタデータ） (2023-10-20T17:14:25Z) - AutoSynth: Learning to Generate 3D Training Data for Object Point Cloud
Registration [69.21282992341007]
Auto Synthは、ポイントクラウド登録のための3Dトレーニングデータを自動的に生成する。
私たちはポイントクラウド登録ネットワークをもっと小さなサロゲートネットワークに置き換え、4056.43$のスピードアップを実現しました。
TUD-L,LINEMOD,Occluded-LINEMODに関する我々の研究結果は,検索データセットでトレーニングされたニューラルネットワークが,広く使用されているModelNet40データセットでトレーニングされたニューラルネットワークよりも一貫してパフォーマンスが向上していることを示す。
論文 参考訳（メタデータ） (2023-09-20T09:29:44Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳（メタデータ） (2023-05-16T07:30:29Z) - A New Benchmark: On the Utility of Synthetic Data with Blender for Bare
Supervised Learning and Downstream Domain Adaptation [42.2398858786125]
コンピュータビジョンにおけるディープラーニングは、大規模ラベル付きトレーニングデータの価格で大きな成功を収めた。
制御不能なデータ収集プロセスは、望ましくない重複が存在する可能性のある非IIDトレーニングおよびテストデータを生成する。
これを回避するために、ドメインランダム化による3Dレンダリングによる合成データを生成する方法がある。
論文 参考訳（メタデータ） (2023-03-16T09:03:52Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Using GPT-2 to Create Synthetic Data to Improve the Prediction
Performance of NLP Machine Learning Classification Models [0.0]
機械学習モデルの性能を高めるために合成データを利用するのが一般的になっている。
Yelpのピザレストランレビューデータセットを使って、トレーニング済みのGPT-2 Transformer Modelを微調整して、合成ピザレビューデータを生成しました。
そして、この合成データを元の本物のデータと組み合わせて、新しい共同データセットを作成しました。
論文 参考訳（メタデータ） (2021-04-02T20:20:42Z) - STAN: Synthetic Network Traffic Generation with Generative Neural Models [10.54843182184416]
本稿では,現実的な合成ネットワークトラフィックデータセットを生成するためのSTAN(Synthetic Network Traffic Generation with Autoregressive Neural Model)を提案する。
私たちの新しいニューラルアーキテクチャは、常に属性間の時間的依存関係と依存の両方をキャプチャします。
我々は、シミュレーションデータセットと実ネットワークトラフィックデータセットの両方で、STANの性能を、データの品質の観点から評価する。
論文 参考訳（メタデータ） (2020-09-27T04:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。