論文の概要: An Inversion Theorem for Buffered Linear Toeplitz (BLT) Matrices and Applications to Streaming Differential Privacy
- arxiv url: http://arxiv.org/abs/2504.21413v1
- Date: Wed, 30 Apr 2025 08:14:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:55.064921
- Title: An Inversion Theorem for Buffered Linear Toeplitz (BLT) Matrices and Applications to Streaming Differential Privacy
- Title（参考訳）: バッファリング線形トイプリッツ(BLT)行列の逆定理と微分プライバシーのストリーミングへの応用
- Authors: H. Brendan McMahan, Krishna Pillutla,
- Abstract要約: 逆BLT行列のパラメータを計算するために,効率よく微分可能な$O(d3)$アルゴリズムを提案する。
我々の特徴は、自動微分によるプライバシー機構のBLTパラメータの直接最適化を可能にする。
- 参考スコア（独自算出の注目度）: 5.9307605890852715
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Buffered Linear Toeplitz (BLT) matrices are a family of parameterized lower-triangular matrices that play an important role in streaming differential privacy with correlated noise. Our main result is a BLT inversion theorem: the inverse of a BLT matrix is itself a BLT matrix with different parameters. We also present an efficient and differentiable $O(d^3)$ algorithm to compute the parameters of the inverse BLT matrix, where $d$ is the degree of the original BLT (typically $d < 10$). Our characterization enables direct optimization of BLT parameters for privacy mechanisms through automatic differentiation.
- Abstract（参考訳）: バッファ付き線形Toeplitz (BLT) 行列はパラメータ化された下三角行列のファミリーであり、相関ノイズを伴う差分プライバシーのストリーミングにおいて重要な役割を果たしている。
我々の主な結果は、BLT逆変換定理であり、BLT行列の逆行列はそれ自体、異なるパラメータを持つBLT行列である。
また、逆BLT行列のパラメータを計算するために、効率よく微分可能な$O(d^3)$アルゴリズムを提案し、$d$は元のBLTの次数である(典型的には$d < 10$)。
我々の特徴は、自動微分によるプライバシー機構のBLTパラメータの直接最適化を可能にする。
関連論文リスト
- Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
一般的な戦略である。
事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。
適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。
SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
論文 参考訳（メタデータ） (2024-10-30T12:08:30Z) - Optimal Quantization for Matrix Multiplication [35.007966885532724]
我々は、近似誤差を明確に保証したネスト格子に基づく普遍的量子化器を構築する。
我々の量子化器の実用的低複雑さバージョンは、非常に最適に近い性能を達成する。
論文 参考訳（メタデータ） (2024-10-17T17:19:48Z) - A Hassle-free Algorithm for Private Learning in Practice: Don't Use Tree Aggregation, Use BLTs [4.736297244235246]
本稿では,最近導入されたBuffered Linear Toeplitz (BLT) メカニズムをマルチ参加シナリオに拡張する。
我々のBLT-DP-FTRLは、木集約の使いやすさを維持しつつ、実用性とプライバシの観点から行列の分解にほぼ一致する。
論文 参考訳（メタデータ） (2024-08-16T17:52:22Z) - A Single Linear Layer Yields Task-Adapted Low-Rank Matrices [4.695004706877747]
Low-Rank Adaptation (LoRA) は、初期重量行列$W_0$をデルタ行列$Delta W$で更新するPEFT (Efficient Fine-Tuning) 法として広く用いられている。
CondLoRAのトレーニング可能なパラメータがLoRAのパラメータよりも少ないにもかかわらず、CondLoRAはLoRAと同等のパフォーマンスを維持していることを示す。
論文 参考訳（メタデータ） (2024-03-22T04:38:42Z) - Asymmetry in Low-Rank Adapters of Foundation Models [47.310550805920585]
本稿では、低ランクアダプタ行列の重要性において、予期せぬ非対称性を特徴付け、活用する。
我々は、細調整の$B$が、細調整の$A$よりも本質的に効果的であることを示し、ランダムな未トレーニングの$A$は、細調整の$A$よりもほぼ同等に機能することを示します。
論文 参考訳（メタデータ） (2024-02-26T18:59:12Z) - Private Matrix Approximation and Geometry of Unitary Orbits [29.072423395363668]
この問題は、スペクトルが$Lambda$と同じ行列で$A$を近似しようとする。
近似誤差の上限値と下限値を持つ効率的でプライベートなアルゴリズムを与える。
論文 参考訳（メタデータ） (2022-07-06T16:31:44Z) - Fast Differentiable Matrix Square Root and Inverse Square Root [65.67315418971688]
微分可能な行列平方根と逆平方根を計算するためのより効率的な2つの変種を提案する。
前方伝搬には, Matrix Taylor Polynomial (MTP) を用いる方法と, Matrix Pad'e Approximants (MPA) を使用する方法がある。
一連の数値実験により、両方の手法がSVDやNSの繰り返しと比較してかなりスピードアップすることが示された。
論文 参考訳（メタデータ） (2022-01-29T10:00:35Z) - Fast Differentiable Matrix Square Root [65.67315418971688]
微分可能な行列平方根を計算するために、より効率的な2つの変種を提案する。
前方伝播には, Matrix Taylor Polynomial (MTP) を用いる方法がある。
もう1つの方法は Matrix Pad'e Approximants (MPA) を使うことである。
論文 参考訳（メタデータ） (2022-01-21T12:18:06Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - Non-PSD Matrix Sketching with Applications to Regression and
Optimization [56.730993511802865]
非PSDおよび2乗根行列の次元削減法を提案する。
複数のダウンストリームタスクにこれらのテクニックをどのように使用できるかを示す。
論文 参考訳（メタデータ） (2021-06-16T04:07:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。