論文の概要: Detection and Measurement of Syntactic Templates in Generated Text

• arxiv url: http://arxiv.org/abs/2407.00211v1
• Date: Fri, 28 Jun 2024 19:34:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 06:00:32.388272
• Title: Detection and Measurement of Syntactic Templates in Generated Text
• Title（参考訳）: テキスト生成における構文テンプレートの検出と計測
• Authors: Chantal Shaib, Yanai Elazar, Junyi Jessy Li, Byron C. Wallace,
• Abstract要約: モデルにおける一般的な反復を特徴付けるための構文的特徴の解析を行う。 モデルでは、下流のタスクにおいて、人間の参照テキストよりも高いレートでテンプレートテキストを生成する傾向にある。
• 参考スコア（独自算出の注目度）: 58.111650675717414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on evaluating the diversity of text generated by LLMs has focused on word-level features. Here we offer an analysis of syntactic features to characterize general repetition in models, beyond frequent n-grams. Specifically, we define syntactic templates and show that models tend to produce templated text in downstream tasks at a higher rate than what is found in human-reference texts. We find that most (76%) templates in model-generated text can be found in pre-training data (compared to only 35% of human-authored text), and are not overwritten during fine-tuning processes such as RLHF. This connection to the pre-training data allows us to analyze syntactic templates in models where we do not have the pre-training data. We also find that templates as features are able to differentiate between models, tasks, and domains, and are useful for qualitatively evaluating common model constructions. Finally, we demonstrate the use of templates as a useful tool for analyzing style memorization of training data in LLMs.
• Abstract（参考訳）: LLMが生成するテキストの多様性を評価するための最近の研究は、単語レベルの特徴に焦点を当てている。 ここでは、頻繁なn-グラムを超えて、モデルにおける一般的な反復を特徴づける構文的特徴の分析を行う。 具体的には、構文テンプレートを定義し、モデルが人間の参照テキストよりも高い速度で下流タスクでテンプレートテキストを生成する傾向があることを示す。 モデル生成テキストのテンプレートのほとんど(76%)は事前学習データ(人間が作成したテキストのわずか35%)に見出され、RLHFのような微調整プロセスでは上書きされないことがわかった。 この事前学習データとの接続により、事前学習データを持たないモデルにおける構文テンプレートを解析できる。 また、テンプレートはモデル、タスク、ドメインを区別することができ、一般的なモデル構築を質的に評価するのに有用であることも見出した。 最後に、LLMにおけるトレーニングデータのスタイル記憶を解析するための有用なツールとしてテンプレートを用いることを実証する。

関連論文リスト

• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Mind Your Format: Towards Consistent Evaluation of In-Context Learning Improvements [10.687101698324897]
  大規模な言語モデルは、いくつかの例から新しいタスクを解くための驚くべき能力を示している。 プロンプトテンプレート、あるいはインプット例をフォーマットしてプロンプトを取得する方法は、コンテキスト内学習の重要な側面であるが、見過ごされがちである。 テンプレートの貧弱な選択は、最強モデルと推論手法の性能をランダムな推測レベルに低下させることができることを示す。
  論文  参考訳（メタデータ） (2024-01-12T18:58:26Z)
• A Quality-based Syntactic Template Retriever for Syntactically-controlled Paraphrase Generation [67.98367574025797]
  既存の構文制御されたパラフレーズ生成モデルは、人間の注釈付きまたはよく書かれた構文テンプレートで有望に機能する。 禁止コストにより、ソース文ごとに適切なテンプレートを手作業で設計することは不可能になります。 本稿では,QSTR(Quality-based Syntactic Template Retriever)を提案する。
  論文  参考訳（メタデータ） (2023-10-20T03:55:39Z)
• TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models [20.09470051458651]
  本稿では,多種多様なモデル生成要約を注釈付けして合成データを生成する方法であるTrueTeacherを紹介する。 以前の作業とは異なり、TrueTeacherは人間が書いた要約に頼らず、本質的に多言語である。
  論文  参考訳（メタデータ） (2023-05-18T17:58:35Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• Evaluation of HTR models without Ground Truth Material [2.4792948967354236]
  手書き文字認識モデルの開発における評価は容易である。 しかし、開発からアプリケーションに切り替えると、評価プロセスはトリッキーになります。 我々は,レキシコンに基づく評価が,レキシコンに基づく手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T01:26:09Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• Improving Compositional Generalization with Self-Training for Data-to-Text Generation [36.973617793800315]
  データ・テキスト・タスクにおける現在の生成モデルの合成一般化について検討する。 構成的気象データセットの構造変化をシミュレートすることにより、T5モデルは目に見えない構造に一般化できないことを示す。 擬似応答選択のための細調整BLEURTを用いた自己学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T04:26:56Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。