論文の概要: Learning from aggregated data with a maximum entropy model
- arxiv url: http://arxiv.org/abs/2210.02450v1
- Date: Wed, 5 Oct 2022 09:17:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-10-07 15:33:41.739126
- Title: Learning from aggregated data with a maximum entropy model
- Title（参考訳）: 最大エントロピーモデルを用いた集約データからの学習
- Authors: Alexandre Gilotte, Ahmed Ben Yahmed, David Rohde
- Abstract要約: 我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
- 参考スコア（独自算出の注目度）: 73.63512438583375
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aggregating a dataset, then injecting some noise, is a simple and common way
to release differentially private data.However, aggregated data -- even without
noise -- is not an appropriate input for machine learning classifiers.In this
work, we show how a new model, similar to a logistic regression, may be learned
from aggregated data only by approximating the unobserved feature distribution
with a maximum entropy hypothesis. The resulting model is a Markov Random Field
(MRF), and we detail how to apply, modify and scale a MRF training algorithm to
our setting. Finally we present empirical evidence on several public datasets
that the model learned this way can achieve performances comparable to those of
a logistic model trained with the full unaggregated data.
- Abstract（参考訳）: データセットを集約し、次にノイズを注入することは、微分プライベートなデータをリリースするための単純で一般的な方法である。しかしながら、集約されたデータは、ノイズなしでも、機械学習分類器の適切な入力ではない。この研究では、ロジスティック回帰に似た新しいモデルが、観測されていない特徴分布を最大エントロピー仮説で近似することによってのみ、集約されたデータからどのように学習されるかを示す。
得られたモデルはマルコフ確率場 (mrf) であり、我々はmrfトレーニングアルゴリズムを設定に適用し、修正し、スケールする方法を詳述する。
最後に、このモデルが学習したいくつかの公開データセットに実証的な証拠を示し、完全な非集約データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを実現する。
関連論文リスト
- Federated Learning for Diffusion Models [12.46092849473786]
拡散モデルは、様々なタスクに対して非常に現実的なサンプルを生成することができる強力な生成モデルである。
拡散確率モデルを用いたFedDDPM-Federated Learningを提案する。
本稿では、FedDDPMの厳密な収束解析を行い、トレーニングオーバーヘッドを低減するための強化アルゴリズムであるFedDDPM+を提案する。
論文 参考訳（メタデータ） (2025-03-09T03:41:10Z) - Generalization is not a universal guarantee: Estimating similarity to training data with an ensemble out-of-distribution metric [0.09363323206192666]
機械学習モデルの新しいデータへの一般化の失敗は、AIシステムの信頼性を制限する中核的な問題である。
本稿では、一般化可能性推定(SAGE)のための教師付きオートエンコーダを構築することにより、データの類似性を評価するための標準化されたアプローチを提案する。
モデル自体のトレーニングやテストデータセットのデータに適用しても,SAGEスコアのフィルタリング後にアウト・オブ・ボックスモデルの性能が向上することを示す。
論文 参考訳（メタデータ） (2025-02-22T19:21:50Z) - When to Trust Your Data: Enhancing Dyna-Style Model-Based Reinforcement Learning With Data Filter [7.886307329450978]
ダイナスタイルのアルゴリズムは、推定環境モデルからのシミュレーションデータを用いてモデルフリートレーニングを加速することにより、2つのアプローチを組み合わせる。
これまでの作業では、モデルアンサンブルを使用したり、実際の環境から収集されたデータで推定されたモデルを事前訓練することで、この問題に対処している。
本研究では,実環境において収集したデータから大きく分岐する推定モデルからシミュレーションデータを除去するアウト・オブ・ディストリビューションデータフィルタを提案する。
論文 参考訳（メタデータ） (2024-10-16T01:49:03Z) - Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。
限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
論文 参考訳（メタデータ） (2024-09-10T07:34:19Z) - A Federated Data Fusion-Based Prognostic Model for Applications with Multi-Stream Incomplete Signals [1.2277343096128712]
本稿では、複数のユーザが共同で障害時間予測モデルを構築することができるフェデレーション予測モデルを提案する。
数値解析により,提案モデルの性能は古典的非フェデレーション予測モデルと同一であることが示唆された。
論文 参考訳（メタデータ） (2023-11-13T17:08:34Z) - Diffusion Random Feature Model [0.0]
本稿では,拡散モデルにインスパイアされた深部ランダム特徴モデルを提案する。
サンプルデータの分布と真の分布との一般化境界をスコアマッチングの特性を用いて導出する。
ファッションMNISTデータセットとインストゥルメンタルオーディオデータに基づいてサンプルを生成し,本研究の検証を行った。
論文 参考訳（メタデータ） (2023-10-06T17:59:05Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。
パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
論文 参考訳（メタデータ） (2022-01-28T12:00:31Z) - Model-based Clustering with Missing Not At Random Data [0.8777702580252754]
我々は,MNARデータを含む,非常に一般的なタイプの欠落データを扱うために設計されたモデルベースのクラスタリングアルゴリズムを提案する。
いくつかのMNARモデルについて議論し、不足の原因は、欠落変数自体の値とクラスメンバーシップの両方に依存する。
MNARzと呼ばれる特定のMNARモデルに注目する。
論文 参考訳（メタデータ） (2021-12-20T09:52:12Z) - Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。
本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。
提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-10-19T14:19:42Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳（メタデータ） (2020-10-12T03:27:07Z) - Data from Model: Extracting Data from Non-robust and Robust Models [83.60161052867534]
この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。
本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。
以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
論文 参考訳（メタデータ） (2020-07-13T05:27:48Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。