論文の概要: Reverse Engineering Configurations of Neural Text Generation Models

• arxiv url: http://arxiv.org/abs/2004.06201v1
• Date: Mon, 13 Apr 2020 21:02:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 23:34:47.463834
• Title: Reverse Engineering Configurations of Neural Text Generation Models
• Title（参考訳）: ニューラルテキスト生成モデルのリバースエンジニアリング構成
• Authors: Yi Tay, Dara Bahri, Che Zheng, Clifford Brunk, Donald Metzler, Andrew Tomkins
• Abstract要約: モデル選択の結果、機械が生成したテキストに現れるアーティファクトの研究は、新しい研究領域である。 我々は、モデリング選択が検出可能なアーティファクトを生成テキストに残すかどうかを確認するために、広範囲な診断テストを実行する。 我々の重要な発見は、厳密な実験によって裏付けられ、そのような成果物が存在することと、生成されたテキストのみを観察することで異なるモデリング選択を推測できることである。
• 参考スコア（独自算出の注目度）: 86.9479386959155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper seeks to develop a deeper understanding of the fundamental properties of neural text generations models. The study of artifacts that emerge in machine generated text as a result of modeling choices is a nascent research area. Previously, the extent and degree to which these artifacts surface in generated text has not been well studied. In the spirit of better understanding generative text models and their artifacts, we propose the new task of distinguishing which of several variants of a given model generated a piece of text, and we conduct an extensive suite of diagnostic tests to observe whether modeling choices (e.g., sampling methods, top-$k$ probabilities, model architectures, etc.) leave detectable artifacts in the text they generate. Our key finding, which is backed by a rigorous set of experiments, is that such artifacts are present and that different modeling choices can be inferred by observing the generated text alone. This suggests that neural text generators may be more sensitive to various modeling choices than previously thought.
• Abstract（参考訳）: 本稿では,ニューラルテキスト生成モデルの基本的特性について,より深く理解することを目的とする。 モデリング選択の結果、機械生成テキストに現れるアーティファクトの研究は、生まれたばかりの研究領域である。 従来、これらのアーティファクトが生成したテキストで表される程度や程度はよく研究されていない。 生成的テキストモデルとそのアーティファクトをよりよく理解するために、与えられたモデルのいくつかのバリエーションのうちどれがテキストを生成しているかを識別する新しいタスクを提案し、モデリングの選択(サンプリングメソッド、トップ$k$確率、モデルアーキテクチャなど)が生成するテキストに検出可能なアーティファクトを残すかどうかを観察するための広範な診断テストを行う。 我々の重要な発見は、厳密な実験によって裏付けられ、そのような成果物が存在することと、生成されたテキストのみを観察することで異なるモデリング選択を推測できることである。 これは、ニューラルテキストジェネレータが以前考えられていたよりも様々なモデリング選択に敏感であることを示している。

関連論文リスト

• A linguistic analysis of undesirable outcomes in the era of generative AI [4.841442157674423]
  本稿では,LLama2のチャットバージョンを基盤として,生成されたコンテンツの言語的側面に着目した総合シミュレーションフレームワークを提案する。 以上の結果から,このモデルでは世代ごとの語彙的リッチコンテンツの生成が減少し,多様性が低下することが示唆された。 オートファジーは、最初のモデルをより創造的で疑わしい、混乱したものに変換し、不正確な答えをもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-10-16T08:02:48Z)
• ManiFPT: Defining and Analyzing Fingerprints of Generative Models [16.710998621718193]
  生成モデルにおけるアーティファクトと指紋の定義を形式化する。 我々は実際にそれらを計算するためのアルゴリズムを提案する。 指紋の構造について検討し,異なる設計選択が生成過程に与える影響を非常に予測できることを示した。
  論文  参考訳（メタデータ） (2024-02-16T01:58:35Z)
• RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model [93.8067369210696]
  テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。 拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。 大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
  論文  参考訳（メタデータ） (2023-09-02T03:27:20Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
  トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。 BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。 特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
  論文  参考訳（メタデータ） (2021-09-10T12:13:45Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• Topical Language Generation using Transformers [4.795530213347874]
  本稿では,事前学習したLMとトピックモデリング情報を組み合わせることで,トピック言語生成(TLG)の新しいアプローチを提案する。 我々は,新しいパラメータと関数を導入して,生成したテキストに提示される話題特徴量に影響を与えるモデルを拡張する。 実験結果から,復号化の高速化とともに,コヒーレンシー,多様性,流線型性の向上が得られた。
  論文  参考訳（メタデータ） (2021-03-11T03:45:24Z)
• Neural Deepfake Detection with Factual Structure of Text [78.30080218908849]
  テキストのディープフェイク検出のためのグラフベースモデルを提案する。 我々のアプローチは、ある文書の事実構造をエンティティグラフとして表現する。 本モデルでは,機械生成テキストと人文テキストの事実構造の違いを識別することができる。
  論文  参考訳（メタデータ） (2020-10-15T02:35:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。