論文の概要: Private Online Prefix Sums via Optimal Matrix Factorizations

• arxiv url: http://arxiv.org/abs/2202.08312v1
• Date: Wed, 16 Feb 2022 19:39:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 16:41:32.574657
• Title: Private Online Prefix Sums via Optimal Matrix Factorizations
• Title（参考訳）: 最適行列分解によるプライベートオンライン事前修正
• Authors: Brendan McMahan, Keith Rush and Abhradeep Guha Thakurta
• Abstract要約: 特に、オンライン制約下での線形クエリの最適分解を特徴付け、存在、特異性、明示的な表現を導出する。 これらのソリューションは、重要な定数係数によって既存の最先端よりも改善され、ツリーデータ構造の使用によって導入されたアーティファクトのいくつかを避けます。
• 参考スコア（独自算出の注目度）: 8.164433158925592
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Motivated by differentially-private (DP) training of machine learning models and other applications, we investigate the problem of computing prefix sums in the online (streaming) setting with DP. This problem has previously been addressed by special-purpose tree aggregation schemes with hand-crafted estimators. We show that these previous schemes can all be viewed as specific instances of a broad class of matrix-factorization-based DP mechanisms, and that in fact much better mechanisms exist in this class. In particular, we characterize optimal factorizations of linear queries under online constraints, deriving existence, uniqueness, and explicit expressions that allow us to efficiently compute optimal mechanisms, including for online prefix sums. These solutions improve over the existing state-of-the-art by a significant constant factor, and avoid some of the artifacts introduced by the use of the tree data structure.
• Abstract（参考訳）: 機械学習モデルやその他の応用の差分プライベート(DP)トレーニングを動機として,DPを用いたオンライン(ストリーミング)設定におけるプレフィックス和の計算問題について検討する。 この問題は以前は手作り推定器を用いた専用ツリーアグリゲーションスキームで解決されてきた。 これらのスキームは全て、行列分解に基づくDP機構の幅広いクラスの特定の例と見なすことができ、実際、このクラスにはより優れたメカニズムが存在することを示す。 特に,オンライン制約下での線形クエリの最適因子分解を特徴とし,オンライン接頭辞和を含む最適機構を効率的に計算できる存在,一意性,明示表現を導出する。 これらのソリューションは、重要な定数係数によって既存の最先端よりも改善され、ツリーデータ構造の使用によって導入されたアーティファクトのいくつかを避ける。

関連論文リスト

• Structured Regularization for Constrained Optimization on the SPD Manifold [1.1126342180866644]
  対称ゲージ関数に基づく構造化正規化器のクラスを導入し、より高速な非制約手法でSPD多様体上の制約付き最適化を解けるようにする。 構造正規化器は望ましい構造(特に凸性や凸の差)を保存または誘導するために選択できることを示す。
  論文  参考訳（メタデータ） (2024-10-12T22:11:22Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Refined Mechanism Design for Approximately Structured Priors via Active Regression [50.71772232237571]
  我々は、大量の商品を戦略的入札者に販売する収益を最大化する販売業者の問題を考える。 この設定の最適かつほぼ最適のメカニズムは、特徴付けや計算が難しいことで有名である。
  論文  参考訳（メタデータ） (2023-10-11T20:34:17Z)
• Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning [18.55306294638515]
  本稿では,複数のパス(エポック)をデータセット上に配置した計算ベース機械学習(ML)のための新たなDP機構を提案する。 適応ストリームに複数参加するDP機構の問題を形式化し、オンライン行列分解DP機構の非自明な拡張を導入する。
  論文  参考訳（メタデータ） (2022-11-12T00:41:11Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline Reinforcement Learning [114.36124979578896]
  オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。 我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
  論文  参考訳（メタデータ） (2022-05-05T05:44:26Z)
• Joint Continuous and Discrete Model Selection via Submodularity [1.332560004325655]
  機械学習のモデル選択問題では、意味のある構造を持つ優れたモデルに対する欲求は、典型的には正規化された最適化問題によって表される。 しかし、多くのシナリオでは、数値的に意味のある構造が離散空間において特定され、難しい非最適化問題を引き起こす。 我々は、ロバスト最適化によって動機づけられた特定の問題クラスに対して、単純な連続的あるいは離散的な制約をいかに扱うかを示す。
  論文  参考訳（メタデータ） (2021-02-17T21:14:47Z)
• Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation [101.22379613810881]
  データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。 この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。 我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:04:27Z)
• Linear Matrix Factorization Embeddings for Single-objective Optimization Landscapes [0.755972004983746]
  ブラックボックス最適化では、機能は$(x,f(x))$サンプルのセットから導出する必要がある。 行列因数分解による線形次元の減少は、異なる問題インスタンス間の相関関係のより良い検出に大きく寄与することを示す。
  論文  参考訳（メタデータ） (2020-09-30T08:46:54Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。