論文の概要: Language modeling via stochastic processes

• arxiv url: http://arxiv.org/abs/2203.11370v1
• Date: Mon, 21 Mar 2022 22:13:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-03-24 10:20:06.545376
• Title: Language modeling via stochastic processes
• Title（参考訳）: 確率過程による言語モデリング
• Authors: Rose E Wang, Esin Durmus, Noah Goodman, Tatsunori Hashimoto
• Abstract要約: Time Controlは、潜在プロセスを通じて暗黙的に計画する言語モデルである。 プロセスを介して文書プランを暗黙的に生成し、この潜在プランと整合したテキストを生成することで、テキストを生成することができる。 人間の評価者は、TCの出力がベースラインよりも28.6%多いことを好んでいる。
• 参考スコア（独自算出の注目度）: 30.796382023812022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language models can generate high-quality short texts. However, they often meander or are incoherent when generating longer texts. These issues arise from the next-token-only language modeling objective. To address these issues, we introduce Time Control (TC), a language model that implicitly plans via a latent stochastic process. TC does this by learning a representation which maps the dynamics of how text changes in a document to the dynamics of a stochastic process of interest. Using this representation, the language model can generate text by first implicitly generating a document plan via a stochastic process, and then generating text that is consistent with this latent plan. Compared to domain-specific methods and fine-tuning GPT2 across a variety of text domains, TC improves performance on text infilling and discourse coherence. On long text generation settings, TC preserves the text structure both in terms of ordering (up to +40% better) and text length consistency (up to +17% better). Human evaluators also prefer TC's output 28.6% more than the baselines.
• Abstract（参考訳）: 現代の言語モデルは高品質の短文を生成することができる。 しかし、長いテキストを生成する際には、しばしばメランジェや不整合である。 これらの問題は、next-tokenのみの言語モデリングの目的から生じる。 これらの問題に対処するために、潜時確率過程を通じて暗黙的に計画する言語モデルであるTime Control (TC)を導入する。 TCは、文書におけるテキストの変化のダイナミクスを、確率的プロセスのダイナミックスにマッピングする表現を学習することでこれを実現します。 この表現を使用することで、言語モデルは、まず確率的プロセスを通じて文書プランを暗黙的に生成し、その後この潜在計画と一致するテキストを生成することによって、テキストを生成することができる。 様々なテキストドメインにわたるドメイン固有メソッドやgpt2の微調整と比較すると、tcはテキストインフィルディングや談話コヒーレンスのパフォーマンスを向上させる。 長いテキスト生成設定では、tcは、順序付け(最大40%改善)とテキスト長一貫性(最大+17%改善)の両面でテキスト構造を保持します。 人間の評価者はTCの出力が基準よりも28.6%多いことも好んでいる。

関連論文リスト

• Few-Shot Spoken Language Understanding via Joint Speech-Text Models [18.193191170754744]
  テキストと協調的に事前学習した音声表現モデルに関する最近の研究は、音声表現の改善の可能性を示している。 このような共有表現を活用して、音声言語理解タスクにおける限られたデータ可用性の持続的課題に対処する。 事前訓練された音声テキストモデルを用いることで、テキスト上で微調整されたモデルを音声テストデータに効果的に転送できることが分かる。
  論文  参考訳（メタデータ） (2023-10-09T17:59:21Z)
• Augmenting text for spoken language understanding with Large Language Models [13.240782495441275]
  対応する音声を使わずに書き起こし構文解析データ(未ペアテキスト)の使い方を示す。 実験の結果、既存のドメインと新しいドメインの未ペアテキストは、絶対的エクサクトマッチ(EM)において、それぞれ2%と30%の性能を向上させることがわかった。 本稿では,既存のドメインや新しいドメインに対する未ペアテキストを生成するために,LLM(Large Language Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-17T22:25:34Z)
• Copy Is All You Need [66.00852205068327]
  既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。 提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。 当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-07-13T05:03:26Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• Continuous Entailment Patterns for Lexical Inference in Context [4.581468205348204]
  テキストパターンを持つ事前訓練された言語モデル(PLM)は、ゼロショットと少数ショットの両方の設定に役立つことが示されている。 ゼロショットのパフォーマンスでは、モデルが他に何も見ていないので、自己教師付き事前トレーニング中に見られるテキストによく似たパターンを設計することは理にかなっている。 教師付きトレーニングにより、より柔軟性が向上する。もし PLM の語彙以外のトークンを許可すれば、パターンは PLM の慣用句に柔軟に適応できる。
  論文  参考訳（メタデータ） (2021-09-08T14:57:00Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)
• Visual Grounding Strategies for Text-Only Natural Language Processing [1.2183405753834562]
  BERTのマルチモーダル拡張は、視覚的質問回答などのマルチモーダルタスクに最先端の結果をもたらすテキストと画像の共同モデリングを可能にします。 本稿では,マルチモーダル事前学習がテキスト処理精度を向上させる基礎となることを期待して,純粋にテキストタスクにマルチモーダルモデリングを利用する。 転送グラウンドと呼ばれる最初のタイプの戦略は、テキストのみのタスクにマルチモーダルモデルを適用し、プレースホルダーを使って画像入力を置き換える。 2つ目は「連想的接地」と呼ばれ、画像検索を利用してテキストと関連画像のマッチングを行う。
  論文  参考訳（メタデータ） (2021-03-25T16:03:00Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
  GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。 このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。 本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。