論文の概要: Memory and Knowledge Augmented Language Models for Inferring Salience in Long-Form Stories

• arxiv url: http://arxiv.org/abs/2109.03754v1
• Date: Wed, 8 Sep 2021 16:15:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-09 17:11:41.673580
• Title: Memory and Knowledge Augmented Language Models for Inferring Salience in Long-Form Stories
• Title（参考訳）: 長期物語におけるサリエンス推定のための記憶と知識強化言語モデル
• Authors: David Wilmot, Frank Keller
• Abstract要約: 本稿では,Barthes Cardinal Functions 由来の塩分検出の教師なし手法とサプライズ理論について述べる。 外部知識ベースを導入し、メモリ機構を追加することにより、標準トランスフォーマー言語モデルを改善する。 このデータに対する評価は,サリエンス検出モデルが非知識ベースおよびメモリ拡張言語モデル以上の性能を向上させることを示す。
• 参考スコア（独自算出の注目度）: 21.99104738567138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Measuring event salience is essential in the understanding of stories. This paper takes a recent unsupervised method for salience detection derived from Barthes Cardinal Functions and theories of surprise and applies it to longer narrative forms. We improve the standard transformer language model by incorporating an external knowledgebase (derived from Retrieval Augmented Generation) and adding a memory mechanism to enhance performance on longer works. We use a novel approach to derive salience annotation using chapter-aligned summaries from the Shmoop corpus for classic literary works. Our evaluation against this data demonstrates that our salience detection model improves performance over and above a non-knowledgebase and memory augmented language model, both of which are crucial to this improvement.
• Abstract（参考訳）: ストーリーを理解するためには、イベントサリエンスの測定が不可欠です。 本稿では,Barthes Cardinal Function から導かれた非教師なしの塩分検出法とサプライズ理論を,より長い物語形式に適用する。 我々は,外部知識ベースを組み込むことにより,標準的なトランスフォーマー言語モデルを改善するとともに,より長い作業におけるパフォーマンス向上のためのメモリ機構を追加する。 我々は,古典文学作品のShmoopコーパスから,章順の要約を用いたサリエンスアノテーションの導出に新しいアプローチを用いる。 このデータに対する評価は、我々のサリエンス検出モデルが非知識ベースおよびメモリ拡張言語モデル以上の性能を向上することを示し、どちらもこの改善に不可欠である。

関連論文リスト

• Analysis of Plan-based Retrieval for Grounded Text Generation [78.89478272104739]
  幻覚は、言語モデルがそのパラメトリック知識の外で生成タスクが与えられるときに起こる。 この制限に対処するための一般的な戦略は、言語モデルに検索メカニズムを注入することである。 我々は,幻覚の頻度をさらに減少させるために,探索のガイドとして計画をどのように利用できるかを分析する。
  論文  参考訳（メタデータ） (2024-08-20T02:19:35Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• BRENT: Bidirectional Retrieval Enhanced Norwegian Transformer [1.911678487931003]
  検索ベースの言語モデルは、質問応答タスクにますます採用されている。 我々はREALMフレームワークを適用し,ノルウェー初の検索モデルを開発した。 本研究では,このような学習により,抽出質問応答における読み手のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-04-19T13:40:47Z)
• Training Language Models with Memory Augmentation [28.4608705738799]
  本稿では,メモリ拡張による言語モデル学習のための新しいトレーニング手法を提案する。 当社のアプローチでは、バッチ内のサンプルをアクセス可能なメモリとして直接取り込むトレーニング目標を用いています。 従来のメモリ拡張アプローチよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2022-05-25T11:37:29Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)
• Modeling Event Salience in Narratives via Barthes' Cardinal Functions [38.44885682996472]
  出来事のサリエンスを推定することは、ナラトロジーや民俗学における物語の生成やテキスト分析といったタスクに有用である。 アノテーションを使わずにイベントサリエンスを計算するために,事前学習された言語モデルのみを必要とする教師なしの手法をいくつか提案する。 本稿では,提案手法がベースライン手法より優れており,物語テキスト上での言語モデルの微調整が提案手法の改善の鍵となる要因であることを示す。
  論文  参考訳（メタデータ） (2020-11-03T15:28:07Z)
• Learning to Learn Variational Semantic Memory [132.39737669936125]
  我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。 セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。 アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
  論文  参考訳（メタデータ） (2020-10-20T15:05:26Z)
• Semantic Role Labeling Guided Multi-turn Dialogue ReWriter [63.07073750355096]
  意味的役割ラベル付け(SRL)を用いて、誰が誰に何をしたかのコアセマンティック情報を強調することを提案する。 実験の結果、この情報は従来の最先端システムよりも優れていたRoBERTaベースのモデルを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-03T19:50:04Z)
• Linguistic Features for Readability Assessment [0.0]
  言語的に動機づけられた特徴を持つディープラーニングモデルを強化することで、パフォーマンスがさらに向上するかどうかは不明だ。 十分なトレーニングデータから、言語的に動機づけられた特徴を持つディープラーニングモデルを増強しても、最先端のパフォーマンスは向上しないことがわかった。 本研究は,現在最先端のディープラーニングモデルが可読性に関連するテキストの言語的特徴を表現しているという仮説の予備的証拠を提供する。
  論文  参考訳（メタデータ） (2020-05-30T22:14:46Z)
• REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
  言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。 本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。 オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
  論文  参考訳（メタデータ） (2020-02-10T18:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。