Fugu-MT 論文翻訳(概要): Reducing Non-Normative Text Generation from Language Models

論文の概要: Reducing Non-Normative Text Generation from Language Models

arxiv url: http://arxiv.org/abs/2001.08764v2
Date: Thu, 29 Oct 2020 19:37:27 GMT
ステータス: 処理完了
システム内更新日: 2023-01-07 13:06:01.537559
Title: Reducing Non-Normative Text Generation from Language Models
Title（参考訳）: 言語モデルによる非ノミティブテキスト生成の削減
Authors: Xiangyu Peng, Siyan Li, Spencer Frazier, Mark Riedl
Abstract要約: GPT-2のような大規模言語モデルは、インターネットから取り除かれた多様なコーパスで事前訓練されている。本稿では,ポリシー勾配強化学習手法と規範テキスト分類器を用いて,GPT-2を微調整する手法を提案する。
参考スコア（独自算出の注目度）: 7.293053431456775
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large-scale, transformer-based language models such as GPT-2 are pretrained on diverse corpora scraped from the internet. Consequently, they are prone to generating non-normative text (i.e. in violation of social norms). We introduce a technique for fine-tuning GPT-2, using a policy gradient reinforcement learning technique and a normative text classifier to produce reward and punishment values. We evaluate our technique on five data sets using automated and human participant experiments. The normative text classifier is 81-90% accurate when compared to gold-standard human judgments of normative and non-normative generated text. Our normative fine-tuning technique is able to reduce non-normative text by 27-61%, depending on the data set.
Abstract（参考訳）: GPT-2のような大規模なトランスフォーマーベースの言語モデルは、インターネットから取り除かれた様々なコーパスで事前訓練されている。したがって、それらは非ノルミティブテキスト(すなわち社会的規範に違反している)を生成する傾向がある。本稿では、ポリシー勾配強化学習技術と規範テキスト分類器を用いて、報酬と罰則値を生成するGPT-2の微調整手法を提案する。本手法を5つのデータセット上で自動および人間参加実験を用いて評価する。規範テキスト分類器は、規範テキストおよび非規範テキストの金本位人間の判断と比較して81〜90%精度が高い。我々の規範的微調整技術はデータセットによって非ノルマ的テキストを27～61%削減することができる。

関連論文リスト

GPT-4V(ision) is a Human-Aligned Evaluator for Text-to-3D Generation [93.55550787058012]
本稿では,テキスト・ツー・3次元生成モデルのための自動的,汎用的,人為的アライメント評価指標を提案する。この目的のために,まずGPT-4Vを用いたプロンプト生成装置を開発し,評価プロンプトを生成する。次に,ユーザ定義基準に従って2つの3Dアセットを比較することをGPT-4Vに指示する手法を設計する。
論文参考訳（メタデータ） (2024-01-08T18:52:09Z)
Error Norm Truncation: Robust Training in the Presence of Data Noise for Text Generation Models [39.37532848489779]
本稿では,ノイズの多いデータをトラストする標準学習目標に対する頑健な強化手法であるError Norm Truncation (ENT)を提案する。 ENTは,従来のソフト・ハード・トランケーション法よりも生成品質の向上を図っている。
論文参考訳（メタデータ） (2023-10-02T01:30:27Z)
When Automated Assessment Meets Automated Content Generation: Examining Text Quality in the Era of GPTs [5.952677937197871]
我々は、人間のコンテンツに基づいてトレーニングされたMLベースのスコアリングモデルが、人間が生成したコンテンツとGPTの質をどのように評価するかを経験的に評価する。ベンチマーク分析の結果,トランスフォーマー事前学習言語モデル(PLM)は,CNN/RNNや特徴ベースML手法と比較して,人間のエッセイ品質をより正確に評価できることがわかった。
論文参考訳（メタデータ） (2023-09-25T19:32:18Z)
A Chat About Boring Problems: Studying GPT-based text normalization [22.64840464909988]
少数のシナリオにおいて,テキスト正規化のための大言語モデルの能力を示す。 LLMによるテキスト正規化は、上位正規化システムよりも40%低い誤差率を達成する。テキスト正規化エラーの新しい分類法を作成し、GPT-3.5-TurboとGPT-4.0の結果に適用する。
論文参考訳（メタデータ） (2023-09-23T16:32:59Z)
INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback [80.57617091714448]
テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。 LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
論文参考訳（メタデータ） (2023-05-23T17:27:22Z)
Collaborative Generative AI: Integrating GPT-k for Efficient Editing in Text-to-Image Generation [114.80518907146792]
GPT-kのような大規模言語モデルを利用してテキスト・画像生成の迅速な編集プロセスを改善する可能性について検討する。我々は、人間とGPT-kの共通編集を比較し、T2Iを誘導する際のGPT-kの性能を評価し、このプロセスに影響を与える可能性のある要因を検討する。
論文参考訳（メタデータ） (2023-05-18T21:53:58Z)
SESCORE2: Learning Text Generation Evaluation via Synthesizing Realistic Mistakes [93.19166902594168]
テキスト生成評価のためのモデルベースメトリックを学習するための自己教師型アプローチSESCORE2を提案する。鍵となる概念は、コーパスから取得した文を摂動することで、現実的なモデルミスを合成することである。 3言語にわたる4つのテキスト生成タスクにおいて,SESCORE2とそれ以前の手法を評価する。
論文参考訳（メタデータ） (2022-12-19T09:02:16Z)
DIALOG-22 RuATD Generated Text Detection [0.0]
TGM生成テキストと人書きテキストを区別できる検出器は、TGMの乱用を防ぐ重要な役割を果たす。 DIALOG-22 RuATDタスクのパイプラインを記述し、生成したテキスト(バイナリタスク)を検出し、どのモデルを使用してテキストを生成するかの分類を行う。
論文参考訳（メタデータ） (2022-06-16T09:33:26Z)
Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
論文参考訳（メタデータ） (2022-05-15T12:58:35Z)
A Benchmark Corpus for the Detection of Automatically Generated Text in Academic Publications [0.02578242050187029]
本稿では,人工的な研究内容からなる2つのデータセットについて述べる。第1のケースでは、コンテンツはオリジナルの論文から短いプロンプトを抽出した後、GPT-2モデルで完全に生成される。部分的あるいはハイブリッドなデータセットは、いくつかの抽象文をArxiv-NLPモデルによって生成される文に置き換えることで生成される。 BLEU や ROUGE などの流速指標を用いて,生成したテキストと整列した原文とを比較し,データセットの品質を評価する。
論文参考訳（メタデータ） (2022-02-04T08:16:56Z)
Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文参考訳（メタデータ） (2020-10-12T19:42:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。