論文の概要: Should I Use This Synthetic Dataset for Training? How to Test with Minimal Real Data
- arxiv url: http://arxiv.org/abs/2608.27996v1
- Date: Fri, 28 Aug 2026 07:05:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.234263
- Title: Should I Use This Synthetic Dataset for Training? How to Test with Minimal Real Data
- Title（参考訳）: トレーニングにこの合成データセットを使うべきか? 最小限の実データでどのようにテストするか
- Abstract要約: デジタルツインと学習された世界モデルは、エンジニアリングシステムにおける人工知能(AI)モデルのトレーニングに利用可能な、少ない実際のデータセットを増大させる合成データを生成するために、ますます使われています。
本稿では,拡張データセットのトレーニングが真の,人口レベルのパフォーマンスを向上する一方で,実際のテストデータポイントを可能な限り少なく消費するかどうかを論じる。
合成データ分類タスク、DT支援無線パケットスケジューリングタスク、および無線マップ予測タスクにおいて、aeSFTは平均ベースのシーケンシャルテストよりもはるかに少ない実検サンプルを用いて有用な合成データを識別することを示す。
- 参考スコア（独自算出の注目度）: 73.19814469893088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Digital twins (DTs) and learned world models are increasingly used to generate synthetic data that augment the scarce real datasets available for training artificial intelligence (AI) models in engineering systems. Owing to the inevitable simulation-to-reality (sim-to-real) gap, however, augmentation may fail to improve the performance of the trained model on the real data distribution. This paper addresses the resulting decision problem: Given a real dataset, a candidate synthetic dataset, and a fixed learning algorithm, decide whether training on the augmented dataset improves the true, population-level performance, while consuming as few real test data points as possible. Two formulations are considered: a direct test on the mean loss difference between the two trained models, and a symmetry-based test on the paired loss difference, which trades a stronger null assumption for faster evidence accumulation. For the latter, we introduce the {adaptive e-process sign-flip test} (aeSFT), a doubly adaptive procedure that adapts both the number of Monte Carlo sign-flip rounds, and hence the computational cost, and the amount of real test data consumed. aeSFT yields anytime-valid Type-I error control, with no need to pre-specify the test-set size. Experiments on a synthetic-data classification task, a DT-aided wireless packet-scheduling task, and a radio-map prediction task show that aeSFT identifies useful synthetic data using substantially fewer real test samples than mean-based sequential testing, matches the power of fixed-sample sign-flip testing and the paired $t$-test, while keeping the false-positive rate below the target level.
- Abstract（参考訳）: デジタルツイン(DT)と学習された世界モデルは、エンジニアリングシステムにおける人工知能(AI)モデルのトレーニングに利用可能な、少ない実際のデータセットを増大させる合成データを生成するために、ますます使われています。
しかし、避けられないシミュレーションと現実間(シミュレート・トゥ・リアル)のギャップのため、トレーニングされたモデルの性能が実際のデータ分布で向上しない可能性がある。
本稿では, 実データ, 候補合成データセット, 固定学習アルゴリズムが与えられた場合, 拡張データセットのトレーニングにより, 真, 人口レベルのパフォーマンスが向上するか否かを判断すると同時に, 実際のテストデータポイントを極力少なく消費する。
2つの定式化は、2つの訓練されたモデル間の平均損失差の直接検定と、より高速な証拠蓄積のためにより強いヌル仮定を交換するペアの損失差の対称性に基づく検定である。
後者では,モンテカルロのサインフリップラウンド数と計算コスト,実際のテストデータの消費量の両方に適応する2倍適応方式である<adaptive e-process sign-flip test} (aeSFT)を導入する。
aeSFTは、テストセットサイズを事前に指定する必要がなく、任意の値のType-Iエラー制御を出力する。
合成データ分類タスク、DT支援無線パケットスケジューリングタスク、および無線マップ予測タスクの実験では、aeSFTは平均ベースシーケンシャルテストよりもかなり少ない実検サンプルを用いて有用な合成データを識別し、固定サンプルサインフリップテストとペアの$t$-testのパワーと一致し、ターゲットレベルより低い偽陽性率を維持する。
関連論文リスト
- Sim-to-Real Fruit Detection Using Synthetic Data: Quantitative Evaluation and Embedded Deployment with Isaac Sim [0.0]
本研究では,制約付きデータ条件および組込み配置条件下でのオブジェクト検出におけるSim-to-real転送のための合成データの有効性について検討した。
その結果、実データのみにトレーニングされたモデルが最も精度が高いのに対し、合成専用モデルはドメインギャップによる性能低下を示すことがわかった。
訓練されたモデルはJetson Orin NXRTに配備され、リアルタイムの推論性能を実現した。
論文 参考訳（メタデータ） (2026-03-30T16:52:29Z) - An Analysis of LLM Fine-Tuning and Few-Shot Learning for Flaky Test Detection and Classification [1.9336815376402723]
燃えるようなテストは実行中に非決定的な振る舞いを示す。
テストの振る舞いの多様性のため、燃えるようなテストの検出と分類は難しい。
論文 参考訳（メタデータ） (2025-02-04T20:54:51Z) - A Unified Data Representation Learning for Non-parametric Two-sample Testing [50.27067977793069]
本稿では,表現学習型2サンプルテスト(RL-TST)フレームワークを提案する。
RL-TSTはまず、データセット全体に対して純粋に自己教師付き表現学習を行う。
識別モデルはこれらの赤外線で訓練され、識別表現(DR)を学習する。
論文 参考訳（メタデータ） (2024-11-30T23:23:52Z) - Can You Rely on Your Model Evaluation? Improving Model Evaluation with
Synthetic Test Data [75.20035991513564]
本稿では,モデル評価を容易にする深層生成モデリングフレームワークである3Sテストを紹介する。
私たちの実験では、3Sテストが従来のベースラインより優れていることが示されています。
これらの結果は、限られた実テストデータから合成テストデータへのパラダイムシフトが必要かどうかという問題を提起する。
論文 参考訳（メタデータ） (2023-10-25T10:18:44Z) - From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。
実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。
実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
論文 参考訳（メタデータ） (2023-08-08T19:52:28Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z) - Listen, Adapt, Better WER: Source-free Single-utterance Test-time
Adaptation for Automatic Speech Recognition [65.84978547406753]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。
単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳（メタデータ） (2022-03-27T06:38:39Z) - MLReal: Bridging the gap between training on synthetic data and real
data applications in machine learning [1.9852463786440129]
本稿では,実際のデータ特徴を持つ合成データの教師付きトレーニングを強化するための新しいアプローチについて述べる。
トレーニング段階では、入力データは合成ドメインから、自動相関データは実ドメインからである。
推論/アプリケーション段階では、入力データは実サブセットドメインからであり、自己相関区間の平均は合成データサブセットドメインからである。
論文 参考訳（メタデータ） (2021-09-11T14:43:34Z) - Validation of Simulation-Based Testing: Bypassing Domain Shift with
Label-to-Image Synthesis [9.531148049378672]
本稿では,異なる転送可能性尺度とともに生成ラベル-画像合成モデルからなる新しいフレームワークを提案する。
シーンを駆動するセマンティックセグメンテーションタスクにおいて,本手法を実証的に検証する。
後者は実生活と合成テストを区別できるが、前者は自動車と歩行者の両方で0.7の驚くほど強い相関関係を観察する。
論文 参考訳（メタデータ） (2021-06-10T07:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。