論文の概要: Evade the Trap of Mediocrity: Promoting Diversity and Novelty in Text
Generation via Concentrating Attention
- arxiv url: http://arxiv.org/abs/2211.07164v1
- Date: Mon, 14 Nov 2022 07:53:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 17:40:39.147392
- Title: Evade the Trap of Mediocrity: Promoting Diversity and Novelty in Text
Generation via Concentrating Attention
- Title（参考訳）: 医学の道を開く:集中的注意によるテキスト生成における多様性とノベルティの促進
- Authors: Wenhao Li, Xiaoyuan Yi, Jinyi Hu, Maosong Sun, Xing Xie
- Abstract要約: 強力なトランスフォーマーアーキテクチャは高品質な文を生成するのに優れていることが証明されている。
本研究では,Transformerにおけるスペーサーの注意値が多様性を向上させることを発見した。
注意分布のシャープさを制御するために,新しい注意正規化損失を導入する。
- 参考スコア（独自算出の注目度）: 85.5379146125199
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, powerful Transformer architectures have proven superior in
generating high-quality sentences. Nevertheless, these models tend to produce
dull high-frequency phrases, severely hurting the diversity and novelty of
generated text. In this work, we dig into the intrinsic mechanism of this
problem and found that sparser attention values in Transformer could improve
diversity. To understand such a phenomenon, we first conduct both empirical and
theoretical analysis and then attribute it to representation degeneration
caused by the attentive mixture of the hidden states during training. We term
this process the Trap of Mediocrity. To escape from such a trap, we introduce a
novel attention regularization loss to control the sharpness of the attention
distribution, which is transparent to model structures and can be easily
implemented within 20 lines of python code. We prove that this method could be
mathematically regarded as learning a Bayesian approximation of posterior
attention. Experiments show that our method improved the diversity and novelty
of the generated text while maintaining comparable quality on a variety of
conditional and unconditional generation tasks.
- Abstract（参考訳）: 近年、強力なトランスフォーマーアーキテクチャは高品質な文を生成するのに優れていることが証明されている。
にもかかわらず、これらのモデルは鈍い高頻度のフレーズを生み出し、生成されたテキストの多様性と新しさを著しく傷つける傾向がある。
本研究では,本問題の本質的なメカニズムを掘り下げ,トランスフォーマーのスペーサー注意値が多様性を向上させることを発見した。
このような現象を理解するために、我々はまず経験的および理論的解析の両方を行い、訓練中に隠れた状態の注意混合によって引き起こされる表現的変性に起因する。
我々はこの過程をメディオクリティーのトラップと呼ぶ。
このような罠から逃れるために,モデル構造に透過的で,pythonコード20行以内に容易に実装可能な注意分散のシャープネスを制御するために,新たな注意正規化損失を導入する。
この手法は数学的にベイズ近似を学習したと見なせることが証明された。
提案手法は,様々な条件付きおよび非条件付き生成タスクにおいて同等の品質を維持しつつ,生成したテキストの多様性と新規性を改善したことを示す。
関連論文リスト
- DiffDis: Empowering Generative Diffusion Model with Cross-Modal
Discrimination Capability [75.9781362556431]
本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。
DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-18T05:03:48Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z) - Stable Diffusion is Unstable [21.13934830556678]
本稿では,テキスト・ツー・イメージ・モデル(ATM)の自動攻撃により,小さな摂動を効率的に生成する手法を提案する。
ATMは短文攻撃で91.1%の成功率、長文攻撃で81.2%の成功率を達成した。
1) 生成速度の変動性, 2) 粗粒度特性の類似性, 3) 単語の多意味性, 4) 単語の位置決めの4つの攻撃パターンが示された。
論文 参考訳（メタデータ） (2023-06-05T04:21:43Z) - Real-World Image Variation by Aligning Diffusion Inversion Chain [53.772004619296794]
生成した画像と実世界の画像の間にはドメインギャップがあり、これは実世界の画像の高品質なバリエーションを生成する上での課題である。
実世界画像のアライメントによる変化(RIVAL)と呼ばれる新しい推論パイプラインを提案する。
我々のパイプラインは、画像生成プロセスとソース画像の反転チェーンを整列させることにより、画像の変動の生成品質を向上させる。
論文 参考訳（メタデータ） (2023-05-30T04:09:47Z) - Coherent Wave Dynamics and Language Generation of a Generative
Pre-trained Transformer [0.7832189413179361]
我々は、GPT(Generative Pretrained Transformer)における隠れ状態とチャネル波のダイナミクスを解析する。
この結果から,波動力学は言語生成における文脈認識の可塑性と表現性とともに,連続的かつ繰り返し可能な固有振動モードを提供することが示された。
さらに,様々なレベルのモデル学習におけるテキストシーケンス生成におけるスペルエラーのポアソン統計について検討した。
論文 参考訳（メタデータ） (2023-05-08T21:35:12Z) - A Contrastive Framework for Neural Text Generation [46.845997620234265]
モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。
モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
論文 参考訳（メタデータ） (2022-02-13T21:46:14Z) - Exploring Transferable and Robust Adversarial Perturbation Generation
from the Perspective of Network Hierarchy [52.153866313879924]
敵の例の移動可能性と堅牢性は、ブラックボックスの敵攻撃の実用的かつ重要な2つの性質である。
伝送可能で頑健な逆生成法(TRAP)を提案する。
我々のTRAPは、ある種の干渉に対して印象的な伝達性と高い堅牢性を実現する。
論文 参考訳（メタデータ） (2021-08-16T11:52:41Z) - A Novel Estimator of Mutual Information for Learning to Disentangle
Textual Representations [27.129551973093008]
本稿では、属性とエンコーダの潜入コードの間の相互情報に有する新しい変動上界について紹介する。
これは、Renyiの発散による近似誤差の制御を目標とし、より良い離散表現と望ましい離散度の正確な制御の両方をもたらす。
公平な分類とテキストスタイルの転送タスクにおいて、この方法の優位性を示す。
論文 参考訳（メタデータ） (2021-05-06T14:05:06Z) - On Long-Tailed Phenomena in Neural Machine Translation [50.65273145888896]
最先端のニューラルネットワーク翻訳(NMT)モデルは、低周波トークンの生成に苦労する。
条件付きテキスト生成における構造的依存関係にモデルトレーニングを適応させるために,新たな損失関数である反焦点損失を提案する。
提案手法は,複数の機械翻訳(MT)データセットに対して有効であり,クロスエントロピーよりも顕著に向上することを示す。
論文 参考訳（メタデータ） (2020-10-10T07:00:57Z) - Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。
具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
論文 参考訳（メタデータ） (2020-04-29T17:43:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。