論文の概要: Enhancing Incremental Summarization with Structured Representations

• arxiv url: http://arxiv.org/abs/2407.15021v1
• Date: Sun, 21 Jul 2024 00:23:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 19:38:36.966012
• Title: Enhancing Incremental Summarization with Structured Representations
• Title（参考訳）: 構造表現によるインクリメンタル要約の強化
• Authors: EunJeong Hwang, Yichao Zhou, James Bradley Wendt, Beliz Gunel, Nguyen Vo, Jing Xie, Sandeep Tata,
• Abstract要約: 大規模言語モデル(LLM)は、広範囲な入力コンテキストの処理に苦しむことが多く、冗長、不正確、不整合的な要約につながることがある。 最近の手法では、これらのコンテキストを処理するために非構造化メモリを使用しているが、処理された非構造化データの量のために情報過負荷に悩まされている。 本研究では,2つの公開データセットに対して,要約性能を40%から14%向上させる構造化知識表現(GU_$)を導入する。
• 参考スコア（独自算出の注目度）: 7.476879918848218
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) often struggle with processing extensive input contexts, which can lead to redundant, inaccurate, or incoherent summaries. Recent methods have used unstructured memory to incrementally process these contexts, but they still suffer from information overload due to the volume of unstructured data handled. In our study, we introduce structured knowledge representations ($GU_{json}$), which significantly improve summarization performance by 40% and 14% across two public datasets. Most notably, we propose the Chain-of-Key strategy ($CoK_{json}$) that dynamically updates or augments these representations with new information, rather than recreating the structured memory for each new source. This method further enhances performance by 7% and 4% on the datasets.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、広範囲な入力コンテキストの処理に苦しむことが多く、冗長、不正確、不整合的な要約につながることがある。 最近の手法では、非構造化メモリを用いてこれらのコンテキストを漸進的に処理しているが、処理された非構造化データの量のために情報過負荷に悩まされている。 本研究では,2つの公開データセット間での要約性能を40%から14%向上させる構造化知識表現(GU_{json}$)を導入する。 最も注目すべきは、新しいソースごとに構造化メモリを再生するのではなく、動的にこれらの表現を新しい情報で更新または拡張するChain-of-Key戦略(CoK_{json}$)を提案することである。 この方法は、データセットの7%と4%のパフォーマンスをさらに向上させる。

関連論文リスト

• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Few-Shot Data-to-Text Generation via Unified Representation and Multi-Source Learning [114.54944761345594]
  本稿では,既存の手法の限界に対処する構造化データ・テキスト生成手法を提案する。 提案手法は,マルチタスクトレーニング,ゼロショット,少数ショットシナリオの性能向上を目的としている。
  論文  参考訳（メタデータ） (2023-08-10T03:09:12Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Information Association for Language Model Updating by Mitigating LM-Logical Discrepancy [68.31760483418901]
  大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。 知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。 これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
  論文  参考訳（メタデータ） (2023-05-29T19:48:37Z)
• Remember the Past: Distilling Datasets into Addressable Memories for Neural Networks [27.389093857615876]
  本稿では,大規模データセットの臨界情報をコンパクトなアドレスメモリに圧縮するアルゴリズムを提案する。 これらの記憶をリコールすることで、ニューラルネットワークを素早く再トレーニングし、パフォーマンスを回復することができる。 本研究は, 5つのベンチマークを用いて, データセットの蒸留作業に関する最新結果を示す。
  論文  参考訳（メタデータ） (2022-06-06T21:32:26Z)
• Robust Augmentation for Multivariate Time Series Classification [20.38907456958682]
  カットアウト,カットミックス,ミックスアップ,ウィンドウワープの簡単な方法により,堅牢性と全体的な性能が向上することを示す。 InceptionTimeネットワークは18種類のデータセットで精度を1%から45%向上することを示す。
  論文  参考訳（メタデータ） (2022-01-27T18:57:49Z)
• Cross-Dataset Collaborative Learning for Semantic Segmentation [17.55660581677053]
  我々は、Cross-Dataset Collaborative Learning (CDCL) と呼ばれる、単純で柔軟で汎用的なセマンティックセグメンテーション手法を提案する。 複数のラベル付きデータセットを付与することで、各データセット上の特徴表現の一般化と識別を改善することを目指しています。 単一データセットとクロスデータセットの設定で,Cityscapes,BDD100K,CamVid,COCO Stuffという4つの多様なデータセットに対して,広範な評価を行う。
  論文  参考訳（メタデータ） (2021-03-21T09:59:47Z)
• Dynamic Hybrid Relation Network for Cross-Domain Context-Dependent Semantic Parsing [52.24507547010127]
  ドメイン間コンテキスト依存のセマンティック解析は研究の新たな焦点である。 本稿では,コンテキストの発話,トークン,データベーススキーマ,会話の進行に伴う複雑なインタラクションを効果的にモデル化する動的グラフフレームワークを提案する。 提案したフレームワークは既存のモデルを大きなマージンで上回り、2つの大規模ベンチマークで新しい最先端性能を達成する。
  論文  参考訳（メタデータ） (2021-01-05T18:11:29Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。