論文の概要: Enhancing Incremental Summarization with Structured Representations

• arxiv url: http://arxiv.org/abs/2407.15021v1
• Date: Sun, 21 Jul 2024 00:23:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 19:38:36.966012
• Title: Enhancing Incremental Summarization with Structured Representations
• Title（参考訳）: 構造表現によるインクリメンタル要約の強化
• Authors: EunJeong Hwang, Yichao Zhou, James Bradley Wendt, Beliz Gunel, Nguyen Vo, Jing Xie, Sandeep Tata,
• Abstract要約: 大規模言語モデル(LLM)は、広範囲な入力コンテキストの処理に苦しむことが多く、冗長、不正確、不整合的な要約につながることがある。 最近の手法では、これらのコンテキストを処理するために非構造化メモリを使用しているが、処理された非構造化データの量のために情報過負荷に悩まされている。 本研究では,2つの公開データセットに対して,要約性能を40%から14%向上させる構造化知識表現(GU_$)を導入する。
• 参考スコア（独自算出の注目度）: 7.476879918848218
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) often struggle with processing extensive input contexts, which can lead to redundant, inaccurate, or incoherent summaries. Recent methods have used unstructured memory to incrementally process these contexts, but they still suffer from information overload due to the volume of unstructured data handled. In our study, we introduce structured knowledge representations ($GU_{json}$), which significantly improve summarization performance by 40% and 14% across two public datasets. Most notably, we propose the Chain-of-Key strategy ($CoK_{json}$) that dynamically updates or augments these representations with new information, rather than recreating the structured memory for each new source. This method further enhances performance by 7% and 4% on the datasets.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、広範囲な入力コンテキストの処理に苦しむことが多く、冗長、不正確、不整合的な要約につながることがある。 最近の手法では、非構造化メモリを用いてこれらのコンテキストを漸進的に処理しているが、処理された非構造化データの量のために情報過負荷に悩まされている。 本研究では,2つの公開データセット間での要約性能を40%から14%向上させる構造化知識表現(GU_{json}$)を導入する。 最も注目すべきは、新しいソースごとに構造化メモリを再生するのではなく、動的にこれらの表現を新しい情報で更新または拡張するChain-of-Key戦略(CoK_{json}$)を提案することである。 この方法は、データセットの7%と4%のパフォーマンスをさらに向上させる。

関連論文リスト

• $\textbf{Only-IF}$:Revealing the Decisive Effect of Instruction Diversity on Generalization [1.6958018695660049]
  トレーニングデータがセマンティックドメインで十分に分散されている場合、textbfonlyが$であることを示す。 例えば$textit$textbfspecialist$$と$textit$textbf generalist$$$モデルの微調整などです。
  論文  参考訳（メタデータ） (2024-10-07T03:15:11Z)
• Reducing and Exploiting Data Augmentation Noise through Meta Reweighting Contrastive Learning for Text Classification [3.9889306957591755]
  本稿では,テキスト分類タスクにおける拡張データ/サンプルを用いたディープラーニングモデルの性能向上のための新しいフレームワークを提案する。 本稿では,拡張サンプルの重み/品質情報を効果的に活用するための,新しい重み依存型列列とデキューアルゴリズムを提案する。 本フレームワークでは,テキストCNNエンコーダの平均1.6%,テキストCNNエンコーダの平均4.3%,RoBERTaベースエンコーダの平均1.4%,絶対改善の4.4%を実現している。
  論文  参考訳（メタデータ） (2024-09-26T02:19:13Z)
• HIRO: Hierarchical Information Retrieval Optimization [0.0]
  Retrieval-Augmented Generation (RAG)は、外部知識をLLM(Large Language Models)に動的に統合することで自然言語処理に革命をもたらした。 RAGの最近の実装は階層的なデータ構造を活用し、様々なレベルの要約と情報密度で文書を整理している。 この複雑さにより、LSMは情報過負荷で"チョーク"し、より洗練されたクエリ機構を必要とする。
  論文  参考訳（メタデータ） (2024-06-14T12:41:07Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Few-Shot Data-to-Text Generation via Unified Representation and Multi-Source Learning [114.54944761345594]
  本稿では,既存の手法の限界に対処する構造化データ・テキスト生成手法を提案する。 提案手法は,マルチタスクトレーニング,ゼロショット,少数ショットシナリオの性能向上を目的としている。
  論文  参考訳（メタデータ） (2023-08-10T03:09:12Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Information Association for Language Model Updating by Mitigating LM-Logical Discrepancy [68.31760483418901]
  大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。 知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。 これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
  論文  参考訳（メタデータ） (2023-05-29T19:48:37Z)
• Remember the Past: Distilling Datasets into Addressable Memories for Neural Networks [27.389093857615876]
  本稿では,大規模データセットの臨界情報をコンパクトなアドレスメモリに圧縮するアルゴリズムを提案する。 これらの記憶をリコールすることで、ニューラルネットワークを素早く再トレーニングし、パフォーマンスを回復することができる。 本研究は, 5つのベンチマークを用いて, データセットの蒸留作業に関する最新結果を示す。
  論文  参考訳（メタデータ） (2022-06-06T21:32:26Z)
• Robust Augmentation for Multivariate Time Series Classification [20.38907456958682]
  カットアウト,カットミックス,ミックスアップ,ウィンドウワープの簡単な方法により,堅牢性と全体的な性能が向上することを示す。 InceptionTimeネットワークは18種類のデータセットで精度を1%から45%向上することを示す。
  論文  参考訳（メタデータ） (2022-01-27T18:57:49Z)
• Dynamic Hybrid Relation Network for Cross-Domain Context-Dependent Semantic Parsing [52.24507547010127]
  ドメイン間コンテキスト依存のセマンティック解析は研究の新たな焦点である。 本稿では,コンテキストの発話,トークン,データベーススキーマ,会話の進行に伴う複雑なインタラクションを効果的にモデル化する動的グラフフレームワークを提案する。 提案したフレームワークは既存のモデルを大きなマージンで上回り、2つの大規模ベンチマークで新しい最先端性能を達成する。
  論文  参考訳（メタデータ） (2021-01-05T18:11:29Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。