論文の概要: Controllable Text Generation for Open-Domain Creativity and Fairness

• arxiv url: http://arxiv.org/abs/2209.12099v1
• Date: Sat, 24 Sep 2022 22:40:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 14:18:34.329109
• Title: Controllable Text Generation for Open-Domain Creativity and Fairness
• Title（参考訳）: オープンドメイン創造性と公正性のための制御可能なテキスト生成
• Authors: Nanyun Peng
• Abstract要約: 言語生成モデルの創造性と公平性を高めるために,制御可能なテキスト生成に関する最近の研究を紹介する。 階層的生成と制約付き復号化を探求し、物語、詩、図形言語を含む創造的な言語生成に適用する。
• 参考スコア（独自算出の注目度）: 36.744208990024575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large pre-trained language models have demonstrated strong results in generating natural languages and significantly improved performances for many natural language generation (NLG) applications such as machine translation and text summarization. However, when the generation tasks are more open-ended and the content is under-specified, existing techniques struggle to generate long-term coherent and creative content. Moreover, the models exhibit and even amplify social biases that are learned from the training corpora. This happens because the generation models are trained to capture the surface patterns (i.e. sequences of words), instead of capturing underlying semantics and discourse structures, as well as background knowledge including social norms. In this paper, I introduce our recent works on controllable text generation to enhance the creativity and fairness of language generation models. We explore hierarchical generation and constrained decoding, with applications to creative language generation including story, poetry, and figurative languages, and bias mitigation for generation models.
• Abstract（参考訳）: 大規模事前学習された言語モデルの最近の進歩は、自然言語の生成に強力な結果をもたらし、機械翻訳やテキスト要約のような多くの自然言語生成(nlg)アプリケーションのパフォーマンスを大幅に改善した。 しかし、生成タスクがよりオープンで、コンテンツが過小評価されている場合、既存の技術は長期的なコヒーレントで創造的なコンテンツを生成するのに苦労する。 さらに、モデルはトレーニングコーパスから学んだ社会的偏見を示し、増幅する。 これは、生成モデルが、基礎となる意味論や談話構造や社会的規範を含む背景知識を捉えるのではなく、表面パターン(すなわち単語のシーケンス)を捉えるように訓練されているためである。 本稿では,言語生成モデルの創造性と公平性を高めるために,制御可能なテキスト生成に関する最近の研究を紹介する。 我々は階層的生成と制約付き復号化を探求し、物語、詩、図形言語を含む創造的な言語生成、および世代モデルのバイアス緩和に適用する。

関連論文リスト

• Annotating FrameNet via Structure-Conditioned Language Generation [15.877232416259805]
  本稿では、過剰な生成とフィルタのアプローチに従って、新しいフレーム文の注釈付き文を生成するフレームワークを提案する。 以上の結果から,リッチで明示的な意味情報に対する条件付けは,人間の受容度が高い世代を生み出す傾向が示唆された。
  論文  参考訳（メタデータ） (2024-06-07T11:01:15Z)
• Personalized Text Generation with Fine-Grained Linguistic Control [9.668216418094316]
  複数の言語的次元にまたがる微粒な属性の制御に焦点をあてる。 生成モデルを訓練するための新しいベンチマークを導入し、パーソナライズされたテキストを生成する能力を評価する。
  論文  参考訳（メタデータ） (2024-02-07T14:41:08Z)
• RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model [93.8067369210696]
  テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。 拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。 大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
  論文  参考訳（メタデータ） (2023-09-02T03:27:20Z)
• PatternGPT :A Pattern-Driven Framework for Large Language Model Text Generation [1.7259824817932292]
  本稿では,大規模言語モデルのためのパターン駆動型テキスト生成フレームワークであるPatternGPTを提案する。 このフレームワークは、大規模言語モデルの抽出機能を利用して、リッチで多様な構造化および形式化されたパターンを生成する。 判断基準や最適化アルゴリズムなどの外部知識は、高品質なパターンの探索に使用される。
  論文  参考訳（メタデータ） (2023-07-02T04:32:41Z)
• Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
  検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。 モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
  論文  参考訳（メタデータ） (2023-05-24T16:17:36Z)
• Why is constrained neural language generation particularly challenging? [13.62873478165553]
  本稿では、制約付きニューラルネットワーク生成の新たな話題について広範な調査を行う。 我々は条件と制約を区別し、制約付きテキスト生成タスクを提示し、制約付きテキスト生成のための既存の方法と評価指標をレビューする。 我々の目標は、この新興分野の最近の進歩とトレンドを強調し、最も有望な方向性と、制約のあるニューラルネットワーク生成研究の最先端への限界を知らせることである。
  論文  参考訳（メタデータ） (2022-06-11T02:07:33Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph [124.45799297285083]
  知識グラフの構造的情報と意味的情報の両方を活用することで、コモンセンスを意識したテキスト生成が促進されると主張している。 本稿では,外部コモンセンス知識グラフから抽出したマルチリレーショナルパスに基づいて,動的マルチホップ推論を用いた事前学習モデルを実現するマルチホップ推論フロー(GRF)の生成を提案する。
  論文  参考訳（メタデータ） (2020-09-24T13:55:32Z)
• Neural Language Generation: Formulation, Methods, and Evaluation [13.62873478165553]
  ニューラルネットワークに基づく生成モデリングの最近の進歩は、人間とシームレスに会話できるコンピュータシステムの実現への期待を再燃させた。 大規模データセットでトレーニングされた高容量ディープラーニングモデルは、明示的な監視信号の欠如にもかかわらず、データのパターンを学習する非並列的な能力を示している。 これらの生成モデルが生成するテキストの品質を評価する標準的な方法は存在しないため、フィールドの進行に深刻なボトルネックが生じる。
  論文  参考訳（メタデータ） (2020-07-31T00:08:28Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。