論文の概要: Language modeling via stochastic processes

• arxiv url: http://arxiv.org/abs/2203.11370v2
• Date: Thu, 11 May 2023 15:08:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 19:19:17.182444
• Title: Language modeling via stochastic processes
• Title（参考訳）: 確率過程による言語モデリング
• Authors: Rose E Wang, Esin Durmus, Noah Goodman, Tatsunori Hashimoto
• Abstract要約: 現代の言語モデルは高品質の短いテキストを生成することができるが、長いテキストを生成するときにはしばしばメランジェや不整合である。 自己教師付き学習における最近の研究は、モデルが対照的な学習を通して優れた潜在表現を学習できることを示唆している。 本稿では,時間制御と呼ばれる構成表現を活用する方法を提案する。
• 参考スコア（独自算出の注目度）: 30.796382023812022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language models can generate high-quality short texts. However, they often meander or are incoherent when generating longer texts. These issues arise from the next-token-only language modeling objective. Recent work in self-supervised learning suggests that models can learn good latent representations via contrastive learning, which can be effective for discriminative tasks. Our work analyzes the application of contrastive representations for generative tasks, like long text generation. We propose one approach for leveraging constrastive representations, which we call Time Control (TC). TC first learns a contrastive representation of the target text domain, then generates text by decoding from these representations. Compared to domain-specific methods and fine-tuning GPT2 across a variety of text domains, TC performs competitively to methods specific for learning sentence representations on discourse coherence. On long text generation settings, TC preserves the text structure both in terms of ordering (up to $+15\%$ better) and text length consistency (up to $+90\%$ better).
• Abstract（参考訳）: 現代の言語モデルは高品質の短文を生成することができる。 しかし、長いテキストを生成する際には、しばしばメランジェや不整合である。 これらの問題は、next-tokenのみの言語モデリングの目的から生じる。 自己教師付き学習における最近の研究は、モデルがコントラスト学習を通じて良い潜在表現を学習できることを示唆している。 我々の研究は、長文生成のような生成タスクへのコントラスト表現の適用を分析する。 本稿では,時間制御 (TC) と呼ばれる構成表現を利用する方法を提案する。 TCはまず、対象のテキストドメインのコントラスト表現を学び、それからこれらの表現から復号することでテキストを生成する。 ドメイン固有の手法や様々なテキスト領域にわたる微調整GPT2と比較して、TCは談話コヒーレンスに基づく文表現の学習に特有な手法と競合する。 長いテキスト生成設定では、tcは注文(最大で$+15\%$)とテキストの長さ一貫性(最大で$+90\%$)の両方でテキスト構造を保持します。

関連論文リスト

• Few-Shot Spoken Language Understanding via Joint Speech-Text Models [18.193191170754744]
  テキストと協調的に事前学習した音声表現モデルに関する最近の研究は、音声表現の改善の可能性を示している。 このような共有表現を活用して、音声言語理解タスクにおける限られたデータ可用性の持続的課題に対処する。 事前訓練された音声テキストモデルを用いることで、テキスト上で微調整されたモデルを音声テストデータに効果的に転送できることが分かる。
  論文  参考訳（メタデータ） (2023-10-09T17:59:21Z)
• Augmenting text for spoken language understanding with Large Language Models [13.240782495441275]
  対応する音声を使わずに書き起こし構文解析データ(未ペアテキスト)の使い方を示す。 実験の結果、既存のドメインと新しいドメインの未ペアテキストは、絶対的エクサクトマッチ(EM)において、それぞれ2%と30%の性能を向上させることがわかった。 本稿では,既存のドメインや新しいドメインに対する未ペアテキストを生成するために,LLM(Large Language Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-17T22:25:34Z)
• Copy Is All You Need [66.00852205068327]
  既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。 提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。 当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-07-13T05:03:26Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• Continuous Entailment Patterns for Lexical Inference in Context [4.581468205348204]
  テキストパターンを持つ事前訓練された言語モデル(PLM)は、ゼロショットと少数ショットの両方の設定に役立つことが示されている。 ゼロショットのパフォーマンスでは、モデルが他に何も見ていないので、自己教師付き事前トレーニング中に見られるテキストによく似たパターンを設計することは理にかなっている。 教師付きトレーニングにより、より柔軟性が向上する。もし PLM の語彙以外のトークンを許可すれば、パターンは PLM の慣用句に柔軟に適応できる。
  論文  参考訳（メタデータ） (2021-09-08T14:57:00Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)
• Visual Grounding Strategies for Text-Only Natural Language Processing [1.2183405753834562]
  BERTのマルチモーダル拡張は、視覚的質問回答などのマルチモーダルタスクに最先端の結果をもたらすテキストと画像の共同モデリングを可能にします。 本稿では,マルチモーダル事前学習がテキスト処理精度を向上させる基礎となることを期待して,純粋にテキストタスクにマルチモーダルモデリングを利用する。 転送グラウンドと呼ばれる最初のタイプの戦略は、テキストのみのタスクにマルチモーダルモデルを適用し、プレースホルダーを使って画像入力を置き換える。 2つ目は「連想的接地」と呼ばれ、画像検索を利用してテキストと関連画像のマッチングを行う。
  論文  参考訳（メタデータ） (2021-03-25T16:03:00Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
  GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。 このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。 本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。