論文の概要: Gold Doesn't Always Glitter: Spectral Removal of Linear and Nonlinear Guarded Attribute Information

• arxiv url: http://arxiv.org/abs/2203.07893v4
• Date: Thu, 20 Apr 2023 13:04:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 17:45:35.588690
• Title: Gold Doesn't Always Glitter: Spectral Removal of Linear and Nonlinear Guarded Attribute Information
• Title（参考訳）: 金常用グリッター:線形および非線形ガード属性情報のスペクトル除去
• Authors: Shun Shao, Yftah Ziser, Shay B. Cohen
• Abstract要約: 本稿では,神経表現からプライベート情報やガード情報を除去する,シンプルで効果的な手法について述べる。 我々は,カーネルを用いた非線形情報除去に対してアルゴリズムを一般化する。 本実験は,保護された情報を取り除いた後,本アルゴリズムがより優れた主タスク性能を維持していることを示す。
• 参考スコア（独自算出の注目度）: 30.495560973512358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We describe a simple and effective method (Spectral Attribute removaL; SAL) to remove private or guarded information from neural representations. Our method uses matrix decomposition to project the input representations into directions with reduced covariance with the guarded information rather than maximal covariance as factorization methods normally use. We begin with linear information removal and proceed to generalize our algorithm to the case of nonlinear information removal using kernels. Our experiments demonstrate that our algorithm retains better main task performance after removing the guarded information compared to previous work. In addition, our experiments demonstrate that we need a relatively small amount of guarded attribute data to remove information about these attributes, which lowers the exposure to sensitive data and is more suitable for low-resource scenarios. Code is available at https://github.com/jasonshaoshun/SAL.
• Abstract（参考訳）: 神経表現からプライベートまたはガードされた情報を除去するための簡易かつ効果的な方法(Spectral Attribute removaL; SAL)について述べる。 本手法は行列分解を用いて,最大共分散よりもガード情報との共分散を小さくして,入力表現を方向へ投影する。 まず,線形情報除去から始まり,カーネルを用いた非線形情報除去にアルゴリズムを一般化する。 本実験は,従来の作業に比べてガード情報を取り除いた後,本アルゴリズムが主タスク性能を向上することを示した。 さらに,これらの属性に関する情報を削除するためには,比較的少ない量の保護属性データが必要であることを実証し,機密性の高いデータへの露出を低減し,低リソースシナリオに適していることを示した。 コードはhttps://github.com/jasonshaoshun/salで入手できる。

関連論文リスト

• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• DeepClean: Machine Unlearning on the Cheap by Resetting Privacy Sensitive Weights using the Fisher Diagonal [1.5379084885764847]
  機密データやプライベートデータに基づいてトレーニングされた機械学習モデルは、その情報を不注意に記憶し、リークする可能性がある。 機械学習は、プライバシーを保護するためにモデルウェイトからそのような詳細を遡及的に取り除こうとしている。 本稿では,FIM(Fiher Information Matrix)を応用した軽量なアンラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-17T11:03:13Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Shielded Representations: Protecting Sensitive Attributes Through Iterative Gradient-Based Projection [39.16319169760823]
  イテレーティブ・グラディエント・ベース・プロジェクション(Iterative Gradient-Based Projection)は、非線形符号化された概念をニューラル表現から除去する新しい方法である。 以上の結果より, IGBPは内因性および外因性評価によるバイアス軽減に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-17T13:26:57Z)
• Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
  オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。 本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。 Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-21T09:07:15Z)
• Erasure of Unaligned Attributes from Neural Representations [6.553031877558699]
  本稿では、各入力例に直接アライメントするのではなく、削除すべき情報が暗黙的である場合に、ニューラル表現から情報を消去するAssignment-Maximization Spectral Attribute removaL(AMSAL)アルゴリズムを提案する。 当社のアルゴリズムは、複数のガードされた属性を持つTwitterデータセット、BiasBiosデータセット、BiasBenchベンチマークなど、幅広いデータセットでテストしています。
  論文  参考訳（メタデータ） (2023-02-06T18:32:17Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning [80.20302993614594]
  ラプラシア正規化の欠点を克服するための統計的解析を提供する。 望ましい振る舞いを示すスペクトルフィルタリング法を多数発表する。 我々は,本手法を大量のデータで利用できるようにするために,現実的な計算ガイドラインを提供する。
  論文  参考訳（メタデータ） (2020-09-09T14:28:54Z)
• Null It Out: Guarding Protected Attributes by Iterative Nullspace Projection [51.041763676948705]
  Iterative Null-space Projection (INLP) は神経表現から情報を取り除く新しい方法である。 提案手法は,単語埋め込みにおけるバイアスを軽減するとともに,複数クラス分類の設定において公平性を高めることができることを示す。
  論文  参考訳（メタデータ） (2020-04-16T14:02:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。