論文の概要: Adaptive Data Analysis with Correlated Observations
- arxiv url: http://arxiv.org/abs/2201.08704v1
- Date: Fri, 21 Jan 2022 14:00:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-24 14:24:09.451870
- Title: Adaptive Data Analysis with Correlated Observations
- Title(参考訳): 相関観測による適応データ解析
- Authors: Aryeh Kontorovich, Menachem Sadigurschi, Uri Stemmer
- Abstract要約: いくつかのケースでは、サンプル内に依存関係がある場合でも、差分プライバシーが保証されることが示されています。
転写圧縮と適応データ解析の関連性は,非ID設定にまで拡張可能であることを示す。
- 参考スコア(独自算出の注目度): 21.969356766737622
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The vast majority of the work on adaptive data analysis focuses on the case
where the samples in the dataset are independent. Several approaches and tools
have been successfully applied in this context, such as differential privacy,
max-information, compression arguments, and more. The situation is far less
well-understood without the independence assumption.
We embark on a systematic study of the possibilities of adaptive data
analysis with correlated observations. First, we show that, in some cases,
differential privacy guarantees generalization even when there are dependencies
within the sample, which we quantify using a notion we call Gibbs-dependence.
We complement this result with a tight negative example. Second, we show that
the connection between transcript-compression and adaptive data analysis can be
extended to the non-iid setting.
- Abstract(参考訳): 適応データ分析に関する研究の大部分は、データセットのサンプルが独立しているケースに焦点を当てている。
このコンテキストでは、差分プライバシー、最大情報、圧縮引数など、いくつかのアプローチとツールがうまく適用されている。
独立の前提なしには状況はずっとよく理解されていない。
我々は、相関観測による適応データ分析の可能性について体系的な研究を行う。
まず、ある場合において、差分プライバシーはサンプル内に依存性がある場合でも一般化を保証し、Gibs-dependenceと呼ぶ概念を用いて定量化する。
我々はこの結果を厳密な否定的な例で補う。
次に,書き起こし圧縮と適応データ解析との接続を非iid設定に拡張できることを示す。
関連論文リスト
- Stochastic Gradient Descent with Adaptive Data [4.119418481809095]
勾配降下(SGD)は、オンライン学習シナリオにおいて特に有用である強力な最適化手法である。
オペレーションリサーチにおけるポリシー最適化問題へのSGDの適用には、環境を変えてポリシー更新に使用するデータに影響を与えるという、明確な課題が伴う。
過去の決定が生成したデータに与える影響は、勾配推定におけるバイアスを導入し、iidケースに存在しないオンライン学習の不安定性の潜在的な原因を示す。
適応データによるSGDの収束速度は, 政策誘起力学の混合時間に係わる限り, 古典的イド設定とほとんど同様であることを示す。
論文 参考訳(メタデータ) (2024-10-02T02:58:32Z) - DAGnosis: Localized Identification of Data Inconsistencies using
Structures [73.39285449012255]
機械学習モデルを確実に使用するためには、デプロイメント時のデータの不整合の特定と適切な処理が不可欠である。
我々は,有向非巡回グラフ(DAG)を用いて,トレーニングセットの特徴分布と非依存性を構造として符号化する。
我々の手法はDAGnosisと呼ばれ、これらの構造的相互作用を利用して、価値があり洞察に富んだデータ中心の結論をもたらす。
論文 参考訳(メタデータ) (2024-02-26T11:29:16Z) - Approximating Counterfactual Bounds while Fusing Observational, Biased
and Randomised Data Sources [64.96984404868411]
我々は、複数の、偏見のある、観察的、介入的な研究からのデータを統合するという問題に対処する。
利用可能なデータの可能性は局所的な最大値を持たないことを示す。
次に、同じアプローチが複数のデータセットの一般的なケースにどのように対処できるかを示す。
論文 参考訳(メタデータ) (2023-07-31T11:28:24Z) - Reinforced Approximate Exploratory Data Analysis [7.974685452145769]
まず,対話型データ探索環境におけるサンプリングの影響について検討し,近似誤差を導入する。
本稿では, サンプル選択を最適化し, 分析および洞察フローの持続性を維持するための, 深層強化学習(DRL)に基づくフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-12T20:20:22Z) - Utility Assessment of Synthetic Data Generation Methods [0.0]
完全合成データを生成する方法が,その実用性に相違があるかどうかを考察する。
ボード上の他の方法よりもパフォーマンスがよい方法がいくつかあります。
機械学習モデルのトレーニングに合成データを使用する場合、分類タスクに対して有望な結果が得られる。
論文 参考訳(メタデータ) (2022-11-23T11:09:52Z) - Detecting hidden confounding in observational data using multiple
environments [0.81585306387285]
本論では, 隠れた接尾辞が存在する場合にのみ欠落する, 検証可能な条件不一致の理論について述べる。
ほとんどの場合、提案手法は隠れた共起の存在を正確に予測する。
論文 参考訳(メタデータ) (2022-05-27T12:20:09Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳(メタデータ) (2022-03-29T04:54:06Z) - Combining Observational and Randomized Data for Estimating Heterogeneous
Treatment Effects [82.20189909620899]
不均一な治療効果を推定することは、多くの領域において重要な問題である。
現在、現存するほとんどの作品は観測データにのみ依存している。
本稿では、大量の観測データと少量のランダム化データを組み合わせることで、不均一な処理効果を推定する。
論文 参考訳(メタデータ) (2022-02-25T18:59:54Z) - On Disentangled Representations Learned From Correlated Data [59.41587388303554]
相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。
本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。
また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
論文 参考訳(メタデータ) (2020-06-14T12:47:34Z) - On conditional versus marginal bias in multi-armed bandits [105.07190334523304]
多腕バンディットにおける腕のサンプル平均のバイアスは、適応データ解析において重要な問題である。
サンプル平均を含む報酬の単調関数の条件バイアスの兆候を特徴付ける。
我々の結果は任意の条件付けイベントを保ち、データ収集ポリシーの自然な単調性特性を活用する。
論文 参考訳(メタデータ) (2020-02-19T20:16:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。