論文の概要: TempLM: Distilling Language Models into Template-Based Generators

• arxiv url: http://arxiv.org/abs/2205.11055v1
• Date: Mon, 23 May 2022 05:46:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 12:02:07.840669
• Title: TempLM: Distilling Language Models into Template-Based Generators
• Title（参考訳）: TempLM: テンプレートベースのジェネレータに言語モデルを蒸留する
• Authors: Tianyi Zhang, Mina Lee, Lisa Li, Ende Shen, Tatsunori B. Hashimoto
• Abstract要約: 本研究では、事前学習した言語モデルをテンプレートベースジェネレータに蒸留することにより、両方の世界の長所を達成できるTempLMを提案する。 TempLM は元々の PLM よりも忠実であり,従来のテンプレートシステムよりも流動性が高いことを示す。 人間の研究では、BERTScoreにおけるTempLMのテンプレートは、人書きのテンプレートよりも大幅に改善されていることが判明した。
• 参考スコア（独自算出の注目度）: 11.808788755444647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While pretrained language models (PLMs) have greatly improved text generation, they have also been known to produce unfaithful or inappropriate content. In contrast, classic template-based systems provide strong guarantees of faithfulness at the cost of fluency. We propose TempLM, which achieves the best of both worlds by distilling a PLM into a template-based generator. On the E2E and SynthBio data-to-text datasets, we show that TempLM is more faithful than the original PLM and is more fluent than prior template systems. Notably, on an out-of-domain evaluation, TempLM reduces a finetuned BART model's unfaithfulness rate from 83% to 0%. In a human study, we find that TempLM's templates substantially improve upon human-written ones in BERTScore.
• Abstract（参考訳）: 事前学習された言語モデル(plm)はテキスト生成を大幅に改善しているが、不適切なコンテンツを生成することも知られている。 対照的に、古典的なテンプレートベースのシステムは、流布コストによる忠実性の強い保証を提供する。 本研究では,PLMをテンプレートベースジェネレータに蒸留することにより,両方の世界を最大限に活用するTempLMを提案する。 E2E と SynthBio のデータテキストデータセットでは、TempLM はオリジナルの PLM よりも忠実であり、以前のテンプレートシステムよりも流動的であることを示す。 特に、ドメイン外評価において、TempLMは微調整されたBARTモデルの不信度率を83%から0%に下げる。 人間による研究では、BERTScoreにおけるTempLMのテンプレートは、人書きのテンプレートよりも大幅に改善されている。

関連論文リスト

• Detection and Measurement of Syntactic Templates in Generated Text [58.111650675717414]
  モデルにおける一般的な反復を特徴付けるための構文的特徴の解析を行う。 モデルでは、下流のタスクにおいて、人間の参照テキストよりも高いレートでテンプレートテキストを生成する傾向にある。
  論文  参考訳（メタデータ） (2024-06-28T19:34:23Z)
• FOCUS: Forging Originality through Contrastive Use in Self-Plagiarism for Language Models [38.76912842622624]
  プレトレーニング言語モデル(PLM)は、様々な自然言語生成(NLG)タスクにおいて印象的な結果を示している。 本研究では, PLMが生成するテキストの独創性を高めることを目的とした, 独特な「自己プラギアリズム」コントラスト的復号戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-02T19:17:00Z)
• Hidden in Plain Sight: Exploring Chat History Tampering in Interactive Language Models [12.920884182101142]
  大規模言語モデル(LLM)は、実世界のアプリケーションで普及し、素晴らしいテキスト生成性能を示している。 LLMベースのチャットシステムは、対話的に振る舞うためには、事前に定義された構造に従って、事前のチャット履歴を入力のコンテキストとして統合する必要がある。 本稿では,目標モデルの事前知識を必要とせずに,LLM会話にユーザ提供履歴を注入するための体系的手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T16:36:47Z)
• Which Syntactic Capabilities Are Statistically Learned by Masked Language Models for Code? [51.29970742152668]
  精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。 これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
  論文  参考訳（メタデータ） (2024-01-03T02:44:02Z)
• LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
  不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。 テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。 研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
  論文  参考訳（メタデータ） (2023-11-13T15:08:59Z)
• Meta Semantic Template for Evaluation of Large Language Models [42.28579444078492]
  MSTempは、大規模な言語モデルの意味理解能力を評価するメタセマンティックテンプレートを作成するアプローチである。 MSTempは、意味テンプレート上で文解析とランダムな単語置換によって評価サンプルを生成する。 最初の実験では、MSTemp生成サンプルは、既存のデータセットをシードとして使用することで、LLMの性能を大幅に低下させることができることを示した。
  論文  参考訳（メタデータ） (2023-10-01T15:06:51Z)
• The False Promise of Imitating Proprietary LLMs [158.65692029352584]
  より弱い言語モデルを安価に改善するための新しい方法は、より強力なモデルからの出力に対してそれを微調整することである。 このアプローチは、より弱いオープンソースモデルを使用して、プロプライエタリなモデルの機能を安価に模倣することを目指している。 まず、様々なベースモデルサイズを用いてChatGPTを模倣する一連のLMを微調整する。 次に、群衆レーダと標準NLPベンチマークを用いてモデルを評価する。
  論文  参考訳（メタデータ） (2023-05-25T05:00:12Z)
• Diffusion Language Models Generation Can Be Halted Early [4.726777092009553]
  拡散言語モデル (DLMs) は, トラクタブル・コントロール可能生成における実用性から, テキスト生成の道のりとして有望である。 これら2種類の言語モデルのパフォーマンスギャップを減らす方法の1つは、DLMの生成を高速化することである。 本稿では,この問題に対処するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T08:56:05Z)
• Transcormer: Transformer for Sentence Scoring with Sliding Language Modeling [95.9542389945259]
  文スコアリングは文の可能性を測ることを目的としており、多くの自然言語処理シナリオで広く使われている。 文スコアリングのための新しいテキストスライディング言語モデリング(SLM)を備えたトランスフォーマーモデルであるtextitTranscormerを提案する。
  論文  参考訳（メタデータ） (2022-05-25T18:00:09Z)
• Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction [54.569707226277735]
  従来の方法はEncDecモデルに適用した場合に潜在的な欠点がある。 提案手法では, コーパスを微調整し, GECモデルに付加的な特徴として出力を微調整する。 BEA 2019とCoNLL-2014ベンチマークにおける最高のパフォーマンスモデルのパフォーマンス。
  論文  参考訳（メタデータ） (2020-05-03T04:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。