論文の概要: LFFR: Logistic Function For (single-output) Regression
- arxiv url: http://arxiv.org/abs/2407.09955v1
- Date: Sat, 13 Jul 2024 17:33:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 20:08:02.902913
- Title: LFFR: Logistic Function For (single-output) Regression
- Title（参考訳）: LFFR:(単一出力)回帰のためのロジスティック関数
- Authors: John Chiang,
- Abstract要約: 完全同型暗号方式で暗号化されたデータを用いたプライバシー保護型回帰トレーニングを実装した。
我々は,ロジスティック関数を用いたホモモルフィック回帰のための新しい,効率的なアルゴリズムLFFRを開発した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy-preserving regression in machine learning is a crucial area of research, aimed at enabling the use of powerful machine learning techniques while protecting individuals' privacy. In this paper, we implement privacy-preserving regression training using data encrypted under a fully homomorphic encryption scheme. We first examine the common linear regression algorithm and propose a (simplified) fixed Hessian for linear regression training, which can be applied for any datasets even not normalized into the range $[0, 1]$. We also generalize this constant Hessian matrix to the ridge regression version, namely linear regression which includes a regularization term to penalize large coefficients. However, our main contribution is to develop a novel and efficient algorithm called LFFR for homomorphic regression using the logistic function, which could model more complex relations between input values and output prediction in comparison with linear regression. We also find a constant simplified Hessian to train our LFFR algorithm using the Newton-like method and compare it against to with our new fixed Hessian linear regression training over two real-world datasets. We suggest normalizing not only the data but also the target predictions even for the original linear regression used in a privacy-preserving manner, which is helpful to remain weights in a small range, say $[-5, +5]$ good for refreshing ciphertext setting parameters, and avoid tuning the regularization parameter $\lambda$ via cross validation. The linear regression with normalized predictions could be a viable alternative to ridge regression.
- Abstract（参考訳）: 機械学習におけるプライバシ保存レグレッションは、個人のプライバシを保護しながら強力な機械学習技術の使用を可能にすることを目的とした、研究の重要な領域である。
本稿では,完全同型暗号方式で暗号化されたデータを用いて,プライバシ保護型回帰トレーニングを実装した。
まず、一般的な線形回帰アルゴリズムを検証し、線形回帰トレーニングのための(単純化された)固定ヘシアンを提案し、このアルゴリズムは、正規化されていない任意のデータセットに対しても、$[0, 1]$の範囲で適用することができる。
また、この定数 Hessian 行列をリッジ回帰版、すなわち、大きな係数をペナライズする正規化項を含む線形回帰版に一般化する。
しかし、ロジスティック関数を用いて、線形回帰と比較して入力値と出力予測の間のより複雑な関係をモデル化可能な、新しい、効率的なアルゴリズムLFFRを開発することが主な貢献である。
また、Newtonライクな手法を用いてLFFRアルゴリズムをトレーニングするために、定常的に単純化されたHessianを、2つの実世界のデータセット上の新しい固定されたHessian線形回帰トレーニングと比較する。
例えば、[5, +5]$は、暗号文の設定パラメータのリフレッシュに役立ち、正規化パラメータ$\lambda$をクロスバリデーション経由でチューニングするのを避ける。
正規化予測を伴う線形回帰はリッジ回帰の代替となる可能性がある。
関連論文リスト
- Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。
卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。
我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
論文 参考訳（メタデータ） (2024-04-25T13:56:05Z) - Generalized Regression with Conditional GANs [2.4171019220503402]
本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。
回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
論文 参考訳（メタデータ） (2024-04-21T01:27:47Z) - Streaming Sparse Linear Regression [1.8707139489039097]
本稿では,データポイントが逐次到着したときのストリーミングデータを解析する新しいオンライン疎線形回帰フレームワークを提案する。
提案手法はメモリ効率が高く,厳密な制約付き凸性仮定を必要とする。
論文 参考訳（メタデータ） (2022-11-11T07:31:55Z) - Easy Differentially Private Linear Regression [16.325734286930764]
本研究では,指数関数機構を用いて,非プライベート回帰モデルの集合からタキー深度の高いモデルを選択するアルゴリズムについて検討する。
このアルゴリズムは、データリッチな設定において、強い経験的性能を得る。
論文 参考訳（メタデータ） (2022-08-15T17:42:27Z) - Hardness and Algorithms for Robust and Sparse Optimization [17.842787715567436]
スパース線形回帰やロバスト線形回帰といったスパース最適化問題に対するアルゴリズムと制限について検討する。
具体的には、スパース線型回帰問題は$k$-スパースベクトル$xinmathbbRd$を求め、$|Ax-b|$を最小化する。
頑健な線形回帰問題は、少なくとも$k$行を無視する集合$S$と、$|(Ax-b)_S|$を最小化するベクトル$x$を求める。
論文 参考訳（メタデータ） (2022-06-29T01:40:38Z) - Sparse Mixed Linear Regression with Guarantees: Taming an Intractable
Problem with Invex Relaxation [31.061339148448006]
本稿では,ラベルのないデータセット上での疎混合線形回帰問題について検討する。
我々は、この難解な問題に対して、証明可能な理論的保証を持つ解をもたらす新しい凸緩和を提供する。
論文 参考訳（メタデータ） (2022-06-02T17:38:11Z) - ReLU Regression with Massart Noise [52.10842036932169]
本稿では、ReLU回帰の基本的問題として、Rectified Linear Units(ReLU)をデータに適合させることを目標としている。
我々は自然およびよく研究された半ランダムノイズモデルであるMassartノイズモデルにおけるReLU回帰に着目した。
このモデルにおいて,パラメータの正確な回復を実現する効率的なアルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-09-10T02:13:22Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳（メタデータ） (2021-05-07T03:33:00Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳（メタデータ） (2020-11-30T21:47:38Z) - Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。
近勾配法はOWL回帰を解くための標準手法として用いられる。
未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
論文 参考訳（メタデータ） (2020-06-29T23:35:53Z) - Optimal Feature Manipulation Attacks Against Linear Regression [64.54500628124511]
本稿では,データセットに慎重に設計した有害なデータポイントを付加したり,元のデータポイントを修正したりすることで,線形回帰による係数の操作方法について検討する。
エネルギー予算を考慮し, 目標が指定された回帰係数を1つ変更する場合に, 最適毒素データ点の閉形式解をまず提示する。
次に、攻撃者が1つの特定の回帰係数を変更しつつ、他をできるだけ小さく変更することを目的とした、より困難なシナリオに分析を拡張します。
論文 参考訳（メタデータ） (2020-02-29T04:26:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。