論文の概要: Human-in-the-Loop Mixup
- arxiv url: http://arxiv.org/abs/2211.01202v3
- Date: Sun, 30 Jul 2023 11:12:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 00:16:54.940711
- Title: Human-in-the-Loop Mixup
- Title(参考訳): Human-in-the-Loop Mixup
- Authors: Katherine M. Collins, Umang Bhatt, Weiyang Liu, Vihari Piratla, Ilia
Sucholutsky, Bradley Love, Adrian Weller
- Abstract要約: 我々は、モデルロバスト性、一般化、キャリブレーションを改善するための強力な正則化器として、ミックスアップで使用される合成データに焦点を当てた。
我々は159人の参加者を募集し、その不確実性と共に知覚的判断を提供する。
人間の知覚は、伝統的に合成点に使われるラベルと一貫して一致しない。
- 参考スコア(独自算出の注目度): 35.08115013094831
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aligning model representations to humans has been found to improve robustness
and generalization. However, such methods often focus on standard observational
data. Synthetic data is proliferating and powering many advances in machine
learning; yet, it is not always clear whether synthetic labels are perceptually
aligned to humans -- rendering it likely model representations are not human
aligned. We focus on the synthetic data used in mixup: a powerful regularizer
shown to improve model robustness, generalization, and calibration. We design a
comprehensive series of elicitation interfaces, which we release as HILL MixE
Suite, and recruit 159 participants to provide perceptual judgments along with
their uncertainties, over mixup examples. We find that human perceptions do not
consistently align with the labels traditionally used for synthetic points, and
begin to demonstrate the applicability of these findings to potentially
increase the reliability of downstream models, particularly when incorporating
human uncertainty. We release all elicited judgments in a new data hub we call
H-Mix.
- Abstract(参考訳): モデル表現を人間に適応させることにより、堅牢性と一般化が改善されている。
しかし、そのような手法はしばしば標準的な観測データに焦点を当てる。
合成データは増殖しており、機械学習の多くの進歩に寄与している。しかし、合成ラベルが人間と知覚的に一致しているかどうかは、必ずしも明確ではない。
我々は、モデルロバスト性、一般化、キャリブレーションを改善するための強力な正則化器として、ミックスアップで使用される合成データに焦点を当てた。
我々は,HILL MixE Suiteとしてリリースした包括的エコレーションインタフェースを設計し,参加者159名を募集し,その不確実性とともに,混合例による知覚的判断を提供する。
人間の知覚は、伝統的に合成点に使われるラベルと一貫して一致せず、特に人間の不確実性を取り入れた場合、下流モデルの信頼性を高めるためにこれらの発見の適用性を実証し始める。
当社はh-mixと呼ばれる新しいデータハブで、エリシッシブな判断を全てリリースします。
関連論文リスト
- The Impact of Balancing Real and Synthetic Data on Accuracy and Fairness in Face Recognition [10.849598219674132]
人口統計学的にバランスのとれた認証データと合成データとが、顔認識モデルの精度と公正性に与える影響について検討した。
本研究は,<i>I</i> と<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>I</i>,<i>E</i>,<i>,</i>,<i>,<i>,<i>I</i>,</i>,<i>,<i>,<i>,<i>,
論文 参考訳(メタデータ) (2024-09-04T16:50:48Z) - Chatting Up Attachment: Using LLMs to Predict Adult Bonds [0.0]
GPT-4とClaude 3 Opusを使用して、さまざまなプロファイル、子供時代の記憶、アタッチメントスタイルを持つ大人をシミュレートするエージェントを作成します。
我々は,同一の面接プロトコルを施行し,精神保健専門家によって分析・ラベル付けされた9人のヒトの転写データセットを用いて,我々のモデルを評価した。
以上の結果から,合成データのみを用いたモデルトレーニングは,人間のデータを用いたモデルトレーニングに匹敵する性能を発揮することが示唆された。
論文 参考訳(メタデータ) (2024-08-31T04:29:19Z) - Is Synthetic Data all We Need? Benchmarking the Robustness of Models Trained with Synthetic Images [11.70758559522617]
本稿では,3種類の合成クローンモデル,すなわち,教師付き,自己監督型,マルチモーダル型の最初のベンチマークを行う。
合成クローンは、実際のデータで訓練されたモデルよりも、敵対的および現実的なノイズの影響を受けやすいことがわかりました。
論文 参考訳(メタデータ) (2024-05-30T20:37:34Z) - On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
混合データセットに対する生成モデルの訓練が与える影響について検討する。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
論文 参考訳(メタデータ) (2023-09-30T16:41:04Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳(メタデータ) (2023-05-16T07:30:29Z) - Over-training with Mixup May Hurt Generalization [32.64382185990981]
今回,Mixupトレーニングの既往の現象を報告する。
多くの標準データセットにおいて、Mixupトレーニングモデルの性能は、多くのエポックのトレーニング後に低下し始めます。
理論的には、Mixupトレーニングは、不要なデータ依存ラベルノイズを合成データに導入する可能性がある。
論文 参考訳(メタデータ) (2023-03-02T18:37:34Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳(メタデータ) (2021-10-09T13:56:48Z) - Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。
我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。
CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
論文 参考訳(メタデータ) (2021-05-18T15:13:00Z) - Holdout-Based Fidelity and Privacy Assessment of Mixed-Type Synthetic
Data [0.0]
aiベースのデータ合成はここ数年で急速に進歩しており、プライバシを尊重するデータ共有を可能にするという約束がますます認識されている。
我々は,合成データソリューションの信頼性とプライバシリスクを定量化するための,ホールドアウトに基づく実証的評価フレームワークを紹介し,実証する。
論文 参考訳(メタデータ) (2021-04-01T17:30:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。