論文の概要: Towards Differential Relational Privacy and its use in Question Answering

• arxiv url: http://arxiv.org/abs/2203.16701v1
• Date: Wed, 30 Mar 2022 22:59:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 15:18:40.560906
• Title: Towards Differential Relational Privacy and its use in Question Answering
• Title（参考訳）: 差分関係プライバシと質問応答への応用に向けて
• Authors: Simone Bombari, Alessandro Achille, Zijian Wang, Yu-Xiang Wang, Yusheng Xie, Kunwar Yashraj Singh, Srikar Appalaraju, Vijay Mahadevan, Stefano Soatto
• Abstract要約: データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。 我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。 質問回答のための大規模モデルを用いた実験において,概念を解説する。
• 参考スコア（独自算出の注目度）: 109.4452196071872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memorization of the relation between entities in a dataset can lead to privacy issues when using a trained model for question answering. We introduce Relational Memorization (RM) to understand, quantify and control this phenomenon. While bounding general memorization can have detrimental effects on the performance of a trained model, bounding RM does not prevent effective learning. The difference is most pronounced when the data distribution is long-tailed, with many queries having only few training examples: Impeding general memorization prevents effective learning, while impeding only relational memorization still allows learning general properties of the underlying concepts. We formalize the notion of Relational Privacy (RP) and, inspired by Differential Privacy (DP), we provide a possible definition of Differential Relational Privacy (DrP). These notions can be used to describe and compute bounds on the amount of RM in a trained model. We illustrate Relational Privacy concepts in experiments with large-scale models for Question Answering.
• Abstract（参考訳）: データセット内のエンティティ間の関係を記憶することは、質問応答にトレーニングされたモデルを使用する場合、プライバシの問題を引き起こす可能性がある。 我々は、この現象を理解し、定量化し、制御するために関係記憶(RM)を導入する。 有界一般記憶は訓練されたモデルの性能に有害な影響を与えるが、有界RMは効果的な学習を妨げない。 一般的な記憶の妨げは効果的な学習を妨げるが、リレーショナル記憶の妨げは依然として基礎となる概念の一般的な特性の学習を可能にする。 我々はリレーショナルプライバシ(RP)の概念を定式化し、ディファレンシャルプライバシ(DP)にインスパイアされたディファレンシャルリレーショナルプライバシ(DrP)の定義を提供する。 これらの概念は、トレーニングされたモデルにおけるrmの量の境界を記述し計算するのに使うことができる。 質問応答のための大規模モデルを用いた実験において、関係プライバシーの概念を解説する。

関連論文リスト

• Rethinking LLM Memorization through the Lens of Adversarial Compression [93.13830893086681]
  Webスケールデータセットでトレーニングされた大規模言語モデル(LLM)は、許容可能なデータ使用に関する重大な懸念を提起する。 ひとつ大きな疑問は、これらのモデルがすべてのトレーニングデータを"記憶する"のか、それとも、人間がどのように情報を学び、合成するかに何らかの方法で多くのデータソースを統合するのかである。 本稿では,LLMの記憶度を評価する指標として,ACR(Adversarial Compression Ratio)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T15:49:37Z)
• Unveiling Privacy, Memorization, and Input Curvature Links [11.290935303784208]
  記憶は一般化、ノイズ学習、プライバシーといったいくつかの概念と密接に関連している。 近年の研究では、入力損失曲率(ロスヘシアン w.r.t 入力の痕跡によって測定される)と記憶とを結びつける証拠が示されている。 解析を拡張して、差分プライバシー、記憶、入力損失曲線の理論的関係を確立する。
  論文  参考訳（メタデータ） (2024-02-28T22:02:10Z)
• SoK: Memorisation in machine learning [5.563171090433323]
  個々のデータサンプルが機械学習モデルに与える影響を定量化することは、オープンな研究課題である。 本研究は,MLにおける暗記に関するこれまでの定義と視点を幅広く統合するものである。 モデル一般化との相互作用と,これらの現象がデータプライバシに与える影響について論じる。
  論文  参考訳（メタデータ） (2023-11-06T12:59:18Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Bounding Information Leakage in Machine Learning [26.64770573405079]
  本稿では,情報漏洩の基本的な境界について検討する。 最悪の会員推論攻撃の成功率を特定し、拘束します。 感度の高い属性とモデルパラメータの間の相互情報の境界を導出する。
  論文  参考訳（メタデータ） (2021-05-09T08:49:14Z)
• Learning with Instance Bundles for Reading Comprehension [61.823444215188296]
  質問応答スコアを複数の関連インスタンスで比較する新しい監視手法を提案する。 具体的には、密接に対照的な質問や回答のさまざまな近所でこれらのスコアを正規化します。 2つのデータセット上のインスタンスバンドルによるトレーニングの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2021-04-18T06:17:54Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)
• Understanding Unintended Memorization in Federated Learning [5.32880378510767]
  フェデレートラーニングの異なるコンポーネントが意図しない暗記を減らす上で重要な役割を担っていることを示す。 また,意図しない記憶の少ないモデルにおいて,強いユーザレベルの差分プライバシ保証によるトレーニングが結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-12T22:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。