論文の概要: A Collocation-based Method for Addressing Challenges in Word-level Metric Differential Privacy
- arxiv url: http://arxiv.org/abs/2407.00638v1
- Date: Sun, 30 Jun 2024 09:37:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 02:17:05.177356
- Title: A Collocation-based Method for Addressing Challenges in Word-level Metric Differential Privacy
- Title（参考訳）: 単語レベルのメトリクス差分プライバシーにおける課題に対処するためのコロケーションに基づく手法
- Authors: Stephen Meisenbacher, Maulik Chevli, Florian Matthes,
- Abstract要約: ワードレベルの$textitMetric$ Differential Privacyアプローチが提案されている。
構成された民営化出力のセマンティックコヒーレンスと可変長を向上する手法を考案する。
本手法を実用性とプライバシテストで評価することにより,単語レベルを超えてトークン化戦略を明確にする。
- 参考スコア（独自算出の注目度）: 3.0177210416625124
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Applications of Differential Privacy (DP) in NLP must distinguish between the syntactic level on which a proposed mechanism operates, often taking the form of $\textit{word-level}$ or $\textit{document-level}$ privatization. Recently, several word-level $\textit{Metric}$ Differential Privacy approaches have been proposed, which rely on this generalized DP notion for operating in word embedding spaces. These approaches, however, often fail to produce semantically coherent textual outputs, and their application at the sentence- or document-level is only possible by a basic composition of word perturbations. In this work, we strive to address these challenges by operating $\textit{between}$ the word and sentence levels, namely with $\textit{collocations}$. By perturbing n-grams rather than single words, we devise a method where composed privatized outputs have higher semantic coherence and variable length. This is accomplished by constructing an embedding model based on frequently occurring word groups, in which unigram words co-exist with bi- and trigram collocations. We evaluate our method in utility and privacy tests, which make a clear case for tokenization strategies beyond the word level.
- Abstract（参考訳）: NLPにおける差分プライバシー(DP)の適用は、提案されたメカニズムが機能する構文レベルを区別し、しばしば$\textit{word-level}$または$\textit{document-level}$ privatizationという形式をとる必要がある。
近年,単語埋め込み空間の操作において,この一般化されたDP概念に依存する,ワードレベルの $\textit{Metric}$ Differential Privacy アプローチが提案されている。
しかしながら、これらのアプローチは意味的に一貫性のあるテキスト出力を生成できないことが多く、文や文書レベルでのそれらの適用は、単語摂動の基本的な構成によってのみ可能である。
この作業では、$\textit{between}$と文レベル、すなわち$\textit{collocations}$を演算することで、これらの課題に対処します。
単語ではなくn-gramを摂動させることにより、合成された民営化出力が意味的コヒーレンスと可変長を持つ手法を考案する。
これは、頻繁に発生する単語群に基づく埋め込みモデルを構築することで実現される。
本手法を実用性とプライバシテストで評価することにより,単語レベルを超えてトークン化戦略を明確にする。
関連論文リスト
- $d_X$-Privacy for Text and the Curse of Dimensionality [4.372695214012181]
構造化されていないテキストデータのプライバシーを確保するために広く使われている方法は、$d_X$-privacyの多次元Laplaceメカニズムである。
単語単位で適用された場合、そのメカニズムは元の単語を出力するか、完全に異なる単語を出力する。
多次元ラプラス雑音ベクトルのドット積に任意の単語を埋め込むことが、近接する近傍を識別する上で重要な役割を担っていることを示す。
論文 参考訳（メタデータ） (2024-11-21T01:59:12Z) - Integrating Bidirectional Long Short-Term Memory with Subword Embedding
for Authorship Attribution [2.3429306644730854]
マニフォールド語に基づくスタイリスティックマーカーは、著者帰属の本質的な問題に対処するために、ディープラーニング手法でうまく使われてきた。
提案手法は,CCAT50,IMDb62,Blog50,Twitter50の公営企業における最先端手法に対して実験的に評価された。
論文 参考訳（メタデータ） (2023-06-26T11:35:47Z) - Guiding Text-to-Text Privatization by Syntax [0.0]
メトリック微分プライバシー(Metric Differential Privacy)は、テキストからテキストへのプライベート化というユニークな課題に対処するために設計された、差分プライバシーの一般化である。
置換後の単語の文法的カテゴリを保存するために,テキスト・テキスト・プライベート化の能力を分析する。
我々は、民営化のステップを、置換が一致した文法特性を持つ単語に向けられる候補選択問題に変換する。
論文 参考訳（メタデータ） (2023-06-02T11:52:21Z) - Driving Context into Text-to-Text Privatization [0.0]
textitMetric Differential Privacyは、単語のベクトルにノイズを加えることによって、テキストからテキストへの民営化を可能にする。
分類精度が6.05%のかなり高いことを実証する。
論文 参考訳（メタデータ） (2023-06-02T11:33:06Z) - Keywords and Instances: A Hierarchical Contrastive Learning Framework
Unifying Hybrid Granularities for Text Generation [59.01297461453444]
入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。
実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
論文 参考訳（メタデータ） (2022-05-26T13:26:03Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳（メタデータ） (2021-10-04T03:59:15Z) - Semantic-Preserving Adversarial Text Attacks [85.32186121859321]
深層モデルの脆弱性を調べるために, Bigram と Unigram を用いた適応的セマンティック保存最適化法 (BU-SPO) を提案する。
提案手法は,既存手法と比較して最小の単語数を変更することで,攻撃成功率とセマンティックス率を最大化する。
論文 参考訳（メタデータ） (2021-08-23T09:05:18Z) - Extending Multi-Sense Word Embedding to Phrases and Sentences for
Unsupervised Semantic Applications [34.71597411512625]
本稿では,テキスト列(句または文)に対して,それぞれのシーケンスをコードブック埋め込みの異なる集合で表現する新しい埋め込み手法を提案する。
提案手法は,教師なし文の類似性と抽出要約ベンチマークの性能を大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-03-29T04:54:28Z) - SST-BERT at SemEval-2020 Task 1: Semantic Shift Tracing by Clustering in
BERT-based Embedding Spaces [63.17308641484404]
本稿では,異なる単語の意味の表現として,各単語の異なる事象のクラスタを特定することを提案する。
得られたクラスタの分解は、自然に4つのターゲット言語において、各ターゲットワードごとの意味的シフトのレベルを定量化することができる。
当社のアプローチは,提供されたすべてのSemEvalベースラインを抜いて,個別(言語毎)と全体の両方で良好に動作します。
論文 参考訳（メタデータ） (2020-10-02T08:38:40Z) - A Comparative Study on Structural and Semantic Properties of Sentence
Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。
異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。
これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文 参考訳（メタデータ） (2020-09-23T15:45:32Z) - Neural Syntactic Preordering for Controlled Paraphrase Generation [57.5316011554622]
私たちの研究は、構文変換を使用して、ソース文をソフトに"リオーダー"し、神経パラフレージングモデルをガイドします。
まず、入力文が与えられた場合、エンコーダ・デコーダモデルを用いて、実行可能な構文再構成のセットを導出する。
次に、提案した各再構成を用いて位置埋め込みのシーケンスを生成し、最終的なエンコーダ-デコーダパラフレーズモデルが特定の順序でソース語に従属することを奨励する。
論文 参考訳（メタデータ） (2020-05-05T09:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。