論文の概要: Improving Formality Style Transfer with Context-Aware Rule Injection

• arxiv url: http://arxiv.org/abs/2106.00210v1
• Date: Tue, 1 Jun 2021 03:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:26:41.644650
• Title: Improving Formality Style Transfer with Context-Aware Rule Injection
• Title（参考訳）: 文脈対応ルール注入による形式的スタイル伝達の改善
• Authors: Zonghai Yao and Hong Yu
• Abstract要約: コンテキストアウェア・ルール・インジェクション(CARI)は形式性スタイル・トランスファー(FST)の革新的な方法である CARIは、エンドツーエンドのBERTベースのエンコーダとデコーダモデルに複数のルールを注入する。 コンテキストに基づいて最適なルールを選択することを学ぶ。
• 参考スコア（独自算出の注目度）: 4.653401408821099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models pre-trained on large-scale regular text corpora often do not work well for user-generated data where the language styles differ significantly from the mainstream text. Here we present Context-Aware Rule Injection (CARI), an innovative method for formality style transfer (FST). CARI injects multiple rules into an end-to-end BERT-based encoder and decoder model. It learns to select optimal rules based on context. The intrinsic evaluation showed that CARI achieved the new highest performance on the FST benchmark dataset. Our extrinsic evaluation showed that CARI can greatly improve the regular pre-trained models' performance on several tweet sentiment analysis tasks.
• Abstract（参考訳）: 大規模正規テキストコーパスで事前学習されたモデルは、主流テキストと言語スタイルが大きく異なるユーザー生成データではうまく機能しないことが多い。 ここでは、形式的スタイル転送(FST)の革新的な方法である文脈認識ルール注入(CARI)について述べる。 CARIは、エンドツーエンドのBERTベースのエンコーダとデコーダモデルに複数のルールを注入する。 コンテキストに基づいて最適なルールを選択することを学ぶ。 内在的評価により,CARIはFSTベンチマークデータセット上での新たな最高性能を達成した。 本研究では,複数のツイート感情分析タスクにおいて,CARIが通常の事前学習モデルの性能を大幅に向上できることを示す。

関連論文リスト

• DSTC: Direct Preference Learning with Only Self-Generated Tests and Code to Improve Code LMs [56.24431208419858]
  UnderlinetextbfDirect Preference Learning with only underlinetextbfSelf-Generated underlinetextbfTests and underlinetextbfCode (DSTC)を紹介する。 DSTCは自己生成コードスニペットとテストのみを使用して信頼性の高い選好ペアを構築する。
  論文  参考訳（メタデータ） (2024-11-20T02:03:16Z)
• Text Matching Improves Sequential Recommendation by Reducing Popularity Biases [48.272381505993366]
  TASTEは、アイテムの識別子と属性を使用して、アイテムとユーザとイテムのインタラクションを言語化する。 実験の結果,TASTEはシーケンシャルレコメンデーションデータセットにおいて最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-08-27T07:44:33Z)
• Extensive Evaluation of Transformer-based Architectures for Adverse Drug Events Extraction [6.78974856327994]
  逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。 我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。 分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
  論文  参考訳（メタデータ） (2023-06-08T15:25:24Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Fine-grained Text Style Transfer with Diffusion-Based Language Models [50.02698074338317]
  微細テキストスタイル転送の標準ベンチマークであるStylePTBデータセットを用いて拡散モデルを構築した。 本モデルでは, 個人と作曲の両方において, 最先端の性能を達成できた。
  論文  参考訳（メタデータ） (2023-05-31T02:51:26Z)
• Efficient Training of Language Models to Fill in the Middle [17.118891860985123]
  自動回帰言語モデルは、データセットに直接的な変換を適用した後、テキストを埋めることを学ぶことができる。 FIMモデルのトレーニングには、デフォルト設定の強い設定とベストプラクティスを規定するために、これらのアブリケーションを使用します。 私たちはAPIのベストプラクティスでトレーニングされた最高のインフィルモデルをリリースし、将来の研究を支援するためにインフィルベンチマークをリリースしました。
  論文  参考訳（メタデータ） (2022-07-28T17:40:47Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• BERT got a Date: Introducing Transformers to Temporal Tagging [4.651578365545765]
  本稿では,RoBERTa言語モデルを用いたトランスフォーマー・エンコーダ・デコーダモデルを提案する。 我々のモデルは、特に稀なクラスにおいて、時間的タグ付けや型分類において、過去の研究を上回っている。
  論文  参考訳（メタデータ） (2021-09-30T08:54:21Z)
• Discriminative and Generative Transformer-based Models For Situation Entity Classification [8.029049649310211]
  我々は、状況エンティティ(SE)分類タスクを、利用可能なトレーニングデータの量に応じて再検討する。 変換器を用いた変分オートエンコーダを用いて文を低次元の潜在空間に符号化する。
  論文  参考訳（メタデータ） (2021-09-15T17:07:07Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。