論文の概要: Toward Better Storylines with Sentence-Level Language Models
- arxiv url: http://arxiv.org/abs/2005.05255v1
- Date: Mon, 11 May 2020 16:54:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-04 20:10:05.486992
- Title: Toward Better Storylines with Sentence-Level Language Models
- Title（参考訳）: 文レベル言語モデルによるより良いストーリーラインを目指して
- Authors: Daphne Ippolito, David Grangier, Douglas Eck, Chris Callison-Burch
- Abstract要約: 本稿では,文章中の次の文を選択する文レベル言語モデルを提案する。
教師なしストーリークローゼタスクにおける最先端の精度によるアプローチの有効性を実証する。
- 参考スコア（独自算出の注目度）: 54.91921545103256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a sentence-level language model which selects the next sentence in
a story from a finite set of fluent alternatives. Since it does not need to
model fluency, the sentence-level language model can focus on longer range
dependencies, which are crucial for multi-sentence coherence. Rather than
dealing with individual words, our method treats the story so far as a list of
pre-trained sentence embeddings and predicts an embedding for the next
sentence, which is more efficient than predicting word embeddings. Notably this
allows us to consider a large number of candidates for the next sentence during
training. We demonstrate the effectiveness of our approach with
state-of-the-art accuracy on the unsupervised Story Cloze task and with
promising results on larger-scale next sentence prediction tasks.
- Abstract（参考訳）: 文レベルの言語モデルを提案し, 有限個の不規則な選択肢から, 物語中の次の文を選択する。
フルエンシーをモデル化する必要がないため、文レベルの言語モデルはより長い範囲の依存関係に焦点を当てることができる。
個々の単語を扱うのではなく,事前学習された文の埋め込みのリストとして扱い,単語の埋め込みを予測するよりも効率的な次の文の埋め込みを予測する。
特筆すべきは、トレーニング中に次の文の候補を多数検討できることです。
本手法は,教師なしストーリークローズタスクにおける最先端精度と,大規模次文予測タスクにおける有望な効果を示す。
関連論文リスト
- CompoundPiece: Evaluating and Improving Decompounding Performance of
Language Models [77.45934004406283]
複合語を構成語に分割する作業である「分解」を体系的に研究する。
We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。
分割のための専用モデルを訓練するための新しい手法を導入する。
論文 参考訳（メタデータ） (2023-05-23T16:32:27Z) - Efficient and Flexible Topic Modeling using Pretrained Embeddings and
Bag of Sentences [1.8592384822257952]
本稿では,新しいトピックモデリングと推論アルゴリズムを提案する。
我々は,生成過程モデルとクラスタリングを組み合わせることで,事前学習文の埋め込みを活用する。
The Tailor の評価は,本手法が比較的少ない計算要求で最先端の成果をもたらすことを示している。
論文 参考訳（メタデータ） (2023-02-06T20:13:11Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳（メタデータ） (2022-10-23T00:37:08Z) - Few-shot Subgoal Planning with Language Models [58.11102061150875]
事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。
サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
論文 参考訳（メタデータ） (2022-05-28T01:03:30Z) - A New Sentence Ordering Method Using BERT Pretrained Model [2.1793134762413433]
本稿では,訓練段階を必要とせず,学習のための大きなコーパスを必要とする文順序付け手法を提案する。
提案手法は,5文ストーリーのコーパスであるROCStoriesの他のベースラインよりも優れていた。
この方法の他の利点の1つは、言語知識に対する解釈可能性と不要性である。
論文 参考訳（メタデータ） (2021-08-26T18:47:15Z) - Narrative Incoherence Detection [76.43894977558811]
本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。
複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
論文 参考訳（メタデータ） (2020-12-21T07:18:08Z) - Narrative Text Generation with a Latent Discrete Plan [39.71663365273463]
本稿では,その生成過程の一環として,物語中の文ごとに1つのアンカー語列を最初にサンプリングする潜時変数モデルを提案する。
トレーニング中は、アンカー語の列を潜在変数として扱い、アンカーの列を誘導し、教師なしの方法で生成を誘導する。
我々は,本モデルで作成したストーリーが,ストーリープランを考慮しないベースラインと比較して評価が優れていることを示す,人間による評価を行う。
論文 参考訳（メタデータ） (2020-10-07T08:45:37Z) - Pretraining with Contrastive Sentence Objectives Improves Discourse
Performance of Language Models [29.40992909208733]
本研究では,会話コヒーレンスと文間距離をモデル化した言語モデルの事前学習のための文間目的であるconPONOを提案する。
談話表現ベンチマークのDiscoEvalでは、これまでの最先端技術よりも最大13%改善しています。
また,言論を明示的に評価しないタスクにおいても,ConPONOは2%～6%の利得が得られることを示した。
論文 参考訳（メタデータ） (2020-05-20T23:21:43Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2020-04-29T14:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。