論文の概要: Are Paraphrases Generated by Large Language Models Invertible?

• arxiv url: http://arxiv.org/abs/2410.21637v1
• Date: Tue, 29 Oct 2024 00:46:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:42:20.312153
• Title: Are Paraphrases Generated by Large Language Models Invertible?
• Title（参考訳）: 大規模言語モデルで生成されるパラフレーズは可逆か?
• Authors: Rafael Rivera Soto, Barry Chen, Nicholas Andrews,
• Abstract要約: パラフレーズ変換の問題を考える: パラフレーズ化された文書が与えられたら、原文を復元しようとする。 我々は、追加の著者固有の文脈を伴わず、かつ無関係に、パラフレーズ逆変換モデルを微調整する。 パラフレーズ化された機械生成テキストから始めると、学習した反転モデルを用いて文書のかなりの部分を復元できることを示す。
• 参考スコア（独自算出の注目度）: 4.148732457277201
• License:
• Abstract: Large language models can produce highly fluent paraphrases while retaining much of the original meaning. While this capability has a variety of helpful applications, it may also be abused by bad actors, for example to plagiarize content or to conceal their identity. This motivates us to consider the problem of paraphrase inversion: given a paraphrased document, attempt to recover the original text. To explore the feasibility of this task, we fine-tune paraphrase inversion models, both with and without additional author-specific context to help guide the inversion process. We explore two approaches to author-specific inversion: one using in-context examples of the target author's writing, and another using learned style representations that capture distinctive features of the author's style. We show that, when starting from paraphrased machine-generated text, we can recover significant portions of the document using a learned inversion model. When starting from human-written text, the variety of source writing styles poses a greater challenge for invertability. However, even when the original tokens can't be recovered, we find the inverted text is stylistically similar to the original, which significantly improves the performance of plagiarism detectors and authorship identification systems that rely on stylistic markers.
• Abstract（参考訳）: 大規模な言語モデルは、本来の意味の多くを保持しながら、非常に流動的なパラフレーズを生成することができる。 この機能にはさまざまな有用なアプリケーションがあるが、コンテンツの盗用やアイデンティティの隠蔽など、悪いアクターによって悪用されることもある。 これはパラフレーズ変換の問題を考える動機となり、パラフレーズ化された文書が与えられたら、元のテキストを復元しようとします。 この課題の実現可能性を探るため、著者固有の文脈を伴わずに、微調整パラフレーズの逆変換モデルを作成し、逆変換プロセスの導出に役立てる。 著者固有の逆転に対する2つのアプローチについて検討する。1つは対象著者の文章の文脈内例を用いており、もう1つは著者のスタイルの特徴を捉えた学習スタイル表現を用いている。 パラフレーズ化された機械生成テキストから始めると、学習した反転モデルを用いて文書のかなりの部分を復元できることを示す。 人書きテキストから始めると、様々なソース記述スタイルが可逆性にとって大きな課題となる。 しかし、元のトークンを回収できない場合でも、逆転したテキストは原文とスタイリスティックに類似しており、スタイリスティックなマーカーに依存する盗作検知器や著者識別システムの性能を大幅に向上させる。

関連論文リスト

• Forging the Forger: An Attempt to Improve Authorship Verification via Data Augmentation [52.72682366640554]
  著者検証(英語: Authorship Verification, AV)とは、ある特定の著者によって書かれたか、別の人物によって書かれたのかを推測するテキスト分類タスクである。 多くのAVシステムは敵の攻撃に弱いことが示されており、悪意のある著者は、その書体スタイルを隠蔽するか、あるいは他の著者の書体を模倣することによって、積極的に分類者を騙そうとしている。
  論文  参考訳（メタデータ） (2024-03-17T16:36:26Z)
• Paraphrase Types for Generation and Detection [7.800428507692341]
  これらのタスクをパラフレーズ型生成とパラフレーズ型検出と呼ぶ。 以上の結果から,従来の手法は二項分類のシナリオではうまく機能するが,微粒なパラフレーズ型の含みは大きな課題となることが示唆された。 我々は、パラフレーズ型が将来、パラフレーズモデルの開発とタスクの解決のための新しいパラダイムを解き放つことができると考えている。
  論文  参考訳（メタデータ） (2023-10-23T12:32:41Z)
• ParaAMR: A Large-Scale Syntactically Diverse Paraphrase Dataset by AMR Back-Translation [59.91139600152296]
  ParaAMRは、抽象的な表現のバックトランスレーションによって生成される、大規模な構文的に多様なパラフレーズデータセットである。 そこで本研究では,ParaAMRを用いて文の埋め込み学習,構文的に制御されたパラフレーズ生成,数ショット学習のためのデータ拡張という,3つのNLPタスクを改善することができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T02:27:33Z)
• Paraphrase Identification with Deep Learning: A Review of Datasets and Methods [1.4325734372991794]
  一般的なデータセットにおける特定のパラフレーズ型の表現不足が,盗作を検知する能力にどのように影響するかを検討する。 パラフレーズのための新しいタイポロジーを導入し、検証する。 我々は、AIに基づくパラフレーズ検出を強化するために、将来の研究とデータセット開発のための新しい方向を提案する。
  論文  参考訳（メタデータ） (2022-12-13T23:06:20Z)
• PART: Pre-trained Authorship Representation Transformer [64.78260098263489]
  文書を書く著者は、語彙、レジストリ、句読点、ミススペル、絵文字の使用など、テキスト内での識別情報をインプリントする。 以前の作品では、手作りのフィーチャや分類タスクを使用して著者モデルをトレーニングし、ドメイン外の著者に対するパフォーマンスの低下につながった。 セマンティクスの代わりにtextbfauthorship の埋め込みを学習するために、対照的に訓練されたモデルを提案する。
  論文  参考訳（メタデータ） (2022-09-30T11:08:39Z)
• Letter-level Online Writer Identification [86.13203975836556]
  我々は文字レベルのオンラインライタIDという新たな問題に焦点をあてる。 主な課題は、しばしば異なるスタイルで手紙を書くことである。 我々はこの問題をオンライン書記スタイルのばらつき(Var-O-Styles)と呼ぶ。
  論文  参考訳（メタデータ） (2021-12-06T07:21:53Z)
• InvBERT: Text Reconstruction from Contextualized Embeddings used for Derived Text Formats of Literary Works [1.6058099298620423]
  Digital Humanities and Computational Literary Studiesは文献調査にテキストマイニング手法を適用している。 著作権の制限により、関連するデジタル化された文学作品の入手は制限されている。 BERTを逆転しようとする試みは、エンコーダのパーツをコンテキスト化された埋め込みと共に公開することが重要であることを示唆している。
  論文  参考訳（メタデータ） (2021-09-21T11:35:41Z)
• Towards Document-Level Paraphrase Generation with Sentence Rewriting and Reordering [88.08581016329398]
  文書レベルのパラフレーズ生成のためのCoRPG(Coherence Relation Guided Paraphrase Generation)を提案する。 グラフGRUを用いて、コヒーレンス関係グラフを符号化し、各文のコヒーレンス対応表現を得る。 我々のモデルは、より多様性とセマンティックな保存を伴う文書パラフレーズを生成することができる。
  論文  参考訳（メタデータ） (2021-09-15T05:53:40Z)
• Don't Change Me! User-Controllable Selective Paraphrase Generation [45.0436584774495]
  パラフレーズ生成では、ソース文は変更すべきでないフレーズを含むことが多い。 私たちのソリューションは、任意のテキストセグメントに配置できる明示的なタグをユーザに提供することです。 この研究の貢献は、遠隔監視を用いた新しいデータ生成技術である。
  論文  参考訳（メタデータ） (2020-08-21T03:31:50Z)
• Neural Syntactic Preordering for Controlled Paraphrase Generation [57.5316011554622]
  私たちの研究は、構文変換を使用して、ソース文をソフトに"リオーダー"し、神経パラフレージングモデルをガイドします。 まず、入力文が与えられた場合、エンコーダ・デコーダモデルを用いて、実行可能な構文再構成のセットを導出する。 次に、提案した各再構成を用いて位置埋め込みのシーケンスを生成し、最終的なエンコーダ-デコーダパラフレーズモデルが特定の順序でソース語に従属することを奨励する。
  論文  参考訳（メタデータ） (2020-05-05T09:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。