論文の概要: Stolen Subwords: Importance of Vocabularies for Machine Translation Model Stealing

• arxiv url: http://arxiv.org/abs/2401.16055v1
• Date: Mon, 29 Jan 2024 11:04:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 15:00:59.108715
• Title: Stolen Subwords: Importance of Vocabularies for Machine Translation Model Stealing
• Title（参考訳）: Stolen Subwords: 機械翻訳モデルステアリングにおける語彙の重要性
• Authors: Vil\'em Zouhar
• Abstract要約: 学習ベースの機能を盗む場合、攻撃者は被害者の出力に基づいてローカルモデルを構築しようとしている。 語彙自体が局所モデルの性能に大きく影響しないことがわかった。 出力を収集することで、被害者の語彙を収集することができる。
• 参考スコア（独自算出の注目度）: 3.0821115746307663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In learning-based functionality stealing, the attacker is trying to build a local model based on the victim's outputs. The attacker has to make choices regarding the local model's architecture, optimization method and, specifically for NLP models, subword vocabulary, such as BPE. On the machine translation task, we explore (1) whether the choice of the vocabulary plays a role in model stealing scenarios and (2) if it is possible to extract the victim's vocabulary. We find that the vocabulary itself does not have a large effect on the local model's performance. Given gray-box model access, it is possible to collect the victim's vocabulary by collecting the outputs (detokenized subwords on the output). The results of the minimum effect of vocabulary choice are important more broadly for black-box knowledge distillation.
• Abstract（参考訳）: 学習ベースの機能を盗む場合、攻撃者は被害者の出力に基づいてローカルモデルを構築しようとしている。 攻撃者は、ローカルモデルのアーキテクチャ、最適化方法、特にNLPモデルでは、BPEのようなサブワード語彙を選択する必要がある。 機械翻訳タスクでは,(1)モデルステルスのシナリオにおいて語彙の選択が役割を担っているか,(2)被害者の語彙を抽出できるかどうかを検討する。 語彙自体がローカルモデルのパフォーマンスに大きな影響を与えないことが分かりました。 グレーボックスモデルアクセスが与えられた場合、出力(出力の復号化サブワード)を収集することで、被害者の語彙を収集することができる。 語彙選択の最小効果の結果は、ブラックボックスの知識蒸留においてより広く重要である。

関連論文リスト

• Large Vocabulary Size Improves Large Language Models [28.83786065307658]
  単語語彙サイズと大規模言語モデル(LLM)の性能の関係について検討する。 実験結果から,LLMの語彙サイズが大きくなると性能が向上することがわかった。 事前定義された語彙の代わりに新しい語彙を使用するための簡単な方法を導入する。
  論文  参考訳（メタデータ） (2024-06-24T10:27:07Z)
• Understanding How Model Size Affects Few-shot Instruction Prompting [0.0]
  モデルのサイズが与えられた文脈における単語の意味を識別するモデルの能力にどのように影響するかを検討する。 我々はDeltaWordsと呼ばれるデータセットを導入し、モデルが指示に従う能力を評価する。 モデルのサイズが大きくなるにつれてタスクの精度が低下する、弱い逆スケーリング傾向を示す。
  論文  参考訳（メタデータ） (2022-12-04T19:59:52Z)
• Model Extraction Attack against Self-supervised Speech Models [52.81330435990717]
  自己教師付き学習(SSL)音声モデルは、与えられたクリップの有意義な表現を生成する。 モデル抽出攻撃 (MEA) は、しばしば、クエリアクセスのみで被害者モデルの機能を盗む敵を指す。 本稿では,少数のクエリを用いたSSL音声モデルに対するMEA問題について検討する。
  論文  参考訳（メタデータ） (2022-11-29T09:28:05Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Augmenting semantic lexicons using word embeddings and transfer learning [1.101002667958165]
  本稿では,単語埋め込みと伝達学習を用いて,感情スコアを比較的低コストで拡張するための2つのモデルを提案する。 評価の結果、両モデルともAmazon Mechanical Turkのレビュアーと同様の精度で新しい単語を採点できるが、コストはごくわずかである。
  論文  参考訳（メタデータ） (2021-09-18T20:59:52Z)
• Allocating Large Vocabulary Capacity for Cross-lingual Language Model Pre-training [59.571632468137075]
  最近の言語間言語モデルでは,語彙の容量が限られているため,多くの言語が不足していることがわかった。 本稿では,各言語の語彙能力を決定するアルゴリズムであるVoCapを提案する。 この問題に対処するために,k-NNに基づくターゲットサンプリングを提案し,コストの高いソフトマックスを高速化する。
  論文  参考訳（メタデータ） (2021-09-15T14:04:16Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Imitation Attacks and Defenses for Black-box Machine Translation Systems [86.92681013449682]
  ブラックボックス機械翻訳(MT)システムは高い商業価値を持ち、エラーはコストがかかる。 MTシステムはモノリンガル文を問合せし,その出力を模倣する訓練モデルを用いて盗むことができることを示す。 本稿では,模倣モデルの最適化を誤指示するために,翻訳出力を変更するディフェンスを提案する。
  論文  参考訳（メタデータ） (2020-04-30T17:56:49Z)
• Humpty Dumpty: Controlling Word Meanings via Corpus Poisoning [29.181547214915238]
  埋め込み空間における単語の位置を変更することで、攻撃者が新しい単語や既存の単語の「意味」を制御できることが示される。 埋め込みに対する攻撃は、さまざまな下流タスクに影響を与える可能性がある。
  論文  参考訳（メタデータ） (2020-01-14T17:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。