論文の概要: Memory and Knowledge Augmented Language Models for Inferring Salience in
Long-Form Stories
- arxiv url: http://arxiv.org/abs/2109.03754v1
- Date: Wed, 8 Sep 2021 16:15:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-09 17:11:41.673580
- Title: Memory and Knowledge Augmented Language Models for Inferring Salience in
Long-Form Stories
- Title(参考訳): 長期物語におけるサリエンス推定のための記憶と知識強化言語モデル
- Authors: David Wilmot, Frank Keller
- Abstract要約: 本稿では,Barthes Cardinal Functions 由来の塩分検出の教師なし手法とサプライズ理論について述べる。
外部知識ベースを導入し、メモリ機構を追加することにより、標準トランスフォーマー言語モデルを改善する。
このデータに対する評価は,サリエンス検出モデルが非知識ベースおよびメモリ拡張言語モデル以上の性能を向上させることを示す。
- 参考スコア(独自算出の注目度): 21.99104738567138
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Measuring event salience is essential in the understanding of stories. This
paper takes a recent unsupervised method for salience detection derived from
Barthes Cardinal Functions and theories of surprise and applies it to longer
narrative forms. We improve the standard transformer language model by
incorporating an external knowledgebase (derived from Retrieval Augmented
Generation) and adding a memory mechanism to enhance performance on longer
works. We use a novel approach to derive salience annotation using
chapter-aligned summaries from the Shmoop corpus for classic literary works.
Our evaluation against this data demonstrates that our salience detection model
improves performance over and above a non-knowledgebase and memory augmented
language model, both of which are crucial to this improvement.
- Abstract(参考訳): ストーリーを理解するためには、イベントサリエンスの測定が不可欠です。
本稿では,Barthes Cardinal Function から導かれた非教師なしの塩分検出法とサプライズ理論を,より長い物語形式に適用する。
我々は,外部知識ベースを組み込むことにより,標準的なトランスフォーマー言語モデルを改善するとともに,より長い作業におけるパフォーマンス向上のためのメモリ機構を追加する。
我々は,古典文学作品のShmoopコーパスから,章順の要約を用いたサリエンスアノテーションの導出に新しいアプローチを用いる。
このデータに対する評価は、我々のサリエンス検出モデルが非知識ベースおよびメモリ拡張言語モデル以上の性能を向上することを示し、どちらもこの改善に不可欠である。
関連論文リスト
- Using large language models to study human memory for meaningful
narratives [0.0]
言語モデルは,人間の記憶を有意義な材料として研究するための科学的手段として利用できることを示す。
我々は,多数の参加者とともにオンライン記憶実験を行い,異なる長さの物語の認識・記憶データを収集した。
記憶における物語理解の役割を解明するために,提示された物語のスクランブル版を用いて,これらの実験を繰り返した。
論文 参考訳(メタデータ) (2023-11-08T15:11:57Z) - BRENT: Bidirectional Retrieval Enhanced Norwegian Transformer [1.911678487931003]
検索ベースの言語モデルは、質問応答タスクにますます採用されている。
我々はREALMフレームワークを適用し,ノルウェー初の検索モデルを開発した。
本研究では,このような学習により,抽出質問応答における読み手のパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2023-04-19T13:40:47Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳(メタデータ) (2022-12-21T02:41:40Z) - Training Language Models with Memory Augmentation [28.4608705738799]
本稿では,メモリ拡張による言語モデル学習のための新しいトレーニング手法を提案する。
当社のアプローチでは、バッチ内のサンプルをアクセス可能なメモリとして直接取り込むトレーニング目標を用いています。
従来のメモリ拡張アプローチよりも大幅に向上したことを示す。
論文 参考訳(メタデータ) (2022-05-25T11:37:29Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳(メタデータ) (2022-04-15T06:11:25Z) - Dialogue Summarization with Supporting Utterance Flow Modeling and Fact
Regularization [58.965859508695225]
本稿では、2つの新しいモジュールを用いた対話要約のためのエンドツーエンドニューラルネットワークを提案する。
サポートされた発話フローモデリングは、前者の発話から後者へのフォーカスを円滑にシフトさせることで、コヒーレントな要約を生成するのに役立つ。
事実の正則化は、モデルトレーニング中に生成された要約は、基礎と真実の要約と実際に一致するように促します。
論文 参考訳(メタデータ) (2021-08-03T03:09:25Z) - Modeling Event Salience in Narratives via Barthes' Cardinal Functions [38.44885682996472]
出来事のサリエンスを推定することは、ナラトロジーや民俗学における物語の生成やテキスト分析といったタスクに有用である。
アノテーションを使わずにイベントサリエンスを計算するために,事前学習された言語モデルのみを必要とする教師なしの手法をいくつか提案する。
本稿では,提案手法がベースライン手法より優れており,物語テキスト上での言語モデルの微調整が提案手法の改善の鍵となる要因であることを示す。
論文 参考訳(メタデータ) (2020-11-03T15:28:07Z) - Learning to Learn Variational Semantic Memory [132.39737669936125]
我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。
セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。
アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
論文 参考訳(メタデータ) (2020-10-20T15:05:26Z) - Semantic Role Labeling Guided Multi-turn Dialogue ReWriter [63.07073750355096]
意味的役割ラベル付け(SRL)を用いて、誰が誰に何をしたかのコアセマンティック情報を強調することを提案する。
実験の結果、この情報は従来の最先端システムよりも優れていたRoBERTaベースのモデルを大幅に改善することが示された。
論文 参考訳(メタデータ) (2020-10-03T19:50:04Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳(メタデータ) (2020-09-24T07:21:14Z) - Linguistic Features for Readability Assessment [0.0]
言語的に動機づけられた特徴を持つディープラーニングモデルを強化することで、パフォーマンスがさらに向上するかどうかは不明だ。
十分なトレーニングデータから、言語的に動機づけられた特徴を持つディープラーニングモデルを増強しても、最先端のパフォーマンスは向上しないことがわかった。
本研究は,現在最先端のディープラーニングモデルが可読性に関連するテキストの言語的特徴を表現しているという仮説の予備的証拠を提供する。
論文 参考訳(メタデータ) (2020-05-30T22:14:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。