論文の概要: Unsupposable Test-data Generation for Machine-learned Software
- arxiv url: http://arxiv.org/abs/2005.10442v1
- Date: Thu, 21 May 2020 03:04:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 00:05:43.136373
- Title: Unsupposable Test-data Generation for Machine-learned Software
- Title（参考訳）: 機械学習ソフトウェアのためのサポーザブルなテストデータ生成
- Authors: Naoto Sato, Hironobu Kuruma, and Hideto Ogawa
- Abstract要約: 開発者やテスタをモデル化する上で,"Unsupposable test-data generation"(UTG)が提案されている。
提案されたUTGは、MNISTデータセットとHouse Sales Priceデータセットに適用された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As for software development by machine learning, a trained model is evaluated
by using part of an existing dataset as test data. However, if data with
characteristics that differ from the existing data is input, the model does not
always behave as expected. Accordingly, to confirm the behavior of the model
more strictly, it is necessary to create data that differs from the existing
data and test the model with that different data. The data to be tested
includes not only data that developers can suppose (supposable data) but also
data they cannot suppose (unsupposable data). To confirm the behavior of the
model strictly, it is important to create as much unsupposable data as
possible. In this study, therefore, a method called "unsupposable test-data
generation" (UTG)---for giving suggestions for unsupposable data to model
developers and testers---is proposed. UTG uses a variational autoencoder (VAE)
to generate unsupposable data. The unsupposable data is generated by acquiring
latent values with low occurrence probability in the prior distribution of the
VAE and inputting the acquired latent values into the decoder. If unsupposable
data is included in the data generated by the decoder, the developer can
recognize new unsupposable features by referring to the data. On the basis of
those unsupposable features, the developer will be able to create other
unsupposable data with the same features. The proposed UTG was applied to the
MNIST dataset and the House Sales Price dataset. The results demonstrate the
feasibility of UTG.
- Abstract（参考訳）: 機械学習によるソフトウェア開発では、既存のデータセットの一部をテストデータとして使用して、トレーニングされたモデルを評価する。
しかし、既存のデータとは異なる特性を持つデータが入力された場合、モデルは常に期待通りに振る舞うとは限らない。
したがって、モデルの振る舞いをより厳密に確認するには、既存のデータとは異なるデータを作成し、そのデータでモデルをテストする必要がある。
テスト対象のデータには、開発者が推測できるデータ(サポーザブルデータ)だけでなく、想定できないデータ(サポーザブルデータ)も含まれている。
モデルの振舞いを厳密に確認するには、可能な限り予測不能なデータを作成することが重要である。
そこで本研究では,モデル開発者やテスタに提案できないデータを提供するための"unsupposable test-data generation"(utg)という手法を提案する。
UTGは可変オートエンコーダ(VAE)を使用して、供給不能なデータを生成する。
予測不能データは、vaeの事前分布において、低発生確率の潜在値を取得し、取得した潜在値をデコーダに入力することにより生成される。
デコーダが生成したデータにアンサポーザブルデータが含まれている場合、開発者はデータを参照して新しいアンサポーザブル機能を認識することができる。
これらのサポーザブルな機能に基づいて、開発者は同じ機能を持つ他のサポーザブルなデータを作成することができる。
提案されたUTGは、MNISTデータセットとHouse Sales Priceデータセットに適用された。
その結果,UTGの有効性が示された。
関連論文リスト
- Data Taggants: Dataset Ownership Verification via Harmless Targeted Data Poisoning [12.80649024603656]
本稿では,非バックドアデータセットのオーナシップ検証技術であるデータタグを新たに導入する。
我々は、VTモデルとResNetモデルと最先端のトレーニングレシピを用いて、ImageNet1kの包括的で現実的な実験を通してアプローチを検証する。
論文 参考訳（メタデータ） (2024-10-09T12:49:23Z) - Towards a Theoretical Understanding of Memorization in Diffusion Models [76.85077961718875]
拡散確率モデル(DPM)は、生成人工知能(GenAI)の主流モデルとして採用されている。
モデル収束を前提とした条件付きおよび非条件付きDPMにおける記憶の理論的理解を提供する。
本研究では、生成されたデータに基づいて訓練された時間依存型分類器を代理条件として利用し、無条件DPMからトレーニングデータを抽出する、textbfSurrogate condItional Data extract (SIDE) という新しいデータ抽出手法を提案する。
論文 参考訳（メタデータ） (2024-10-03T13:17:06Z) - Data Checklist: On Unit-Testing Datasets with Usable Information [38.71790944441895]
本稿では,データセット評価のためのV情報文献に基づく分類法を提案する。
我々は、SNLIなどのデータセットで既知のアーティファクトを復元するために、データチェックリストとしてそのようなユニットテストのコレクションを使用します。
データチェックリストはさらに、リセプションアライメントの有効性とデータ効率を改善するために、新しい種類のデータフィルタリングを可能にする。
論文 参考訳（メタデータ） (2024-08-06T03:08:36Z) - SEGAN: semi-supervised learning approach for missing data imputation [12.552699799009037]
本稿では,セミ教師付き学習に基づくデータ補完モデルSEGANを提案する。
SEGANモデルでは、ジェネレータは、欠落したデータ値を予測する際に、既知のデータとそのラベル情報をよりフルに利用することができる。
本稿では,SEGANモデルがナッシュ平衡に達すると,実データ分布特性を学習できることを理論的に証明する。
論文 参考訳（メタデータ） (2024-05-21T11:42:20Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳（メタデータ） (2023-05-16T07:30:29Z) - Data-SUITE: Data-centric identification of in-distribution incongruous
examples [81.21462458089142]
Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。
我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
論文 参考訳（メタデータ） (2022-02-17T18:58:31Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳（メタデータ） (2021-06-01T22:33:53Z) - NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model
Performance [3.7024660695776066]
データセットがモデルの意味理解能力を評価するための良いテストベッドを構成するかどうかを評価することができる新しい診断テストスイートを提案します。
特に,広く使用されているベンチマーク(mnliおよびanli)に制御された腐敗変換を適用する。
モデル精度の大幅な低下は、元のデータセットがモデルの推論能力に適切な挑戦を提供することを示している。
論文 参考訳（メタデータ） (2021-04-10T12:28:07Z) - Data from Model: Extracting Data from Non-robust and Robust Models [83.60161052867534]
この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。
本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。
以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
論文 参考訳（メタデータ） (2020-07-13T05:27:48Z) - DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a
Trained Classifier [58.979104709647295]
我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。
利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。
関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
論文 参考訳（メタデータ） (2019-12-27T02:05:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。