論文の概要: ChuLo: Chunk-Level Key Information Representation for Long Document Processing

• arxiv url: http://arxiv.org/abs/2410.11119v2
• Date: Thu, 24 Oct 2024 11:53:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:50:17.555933
• Title: ChuLo: Chunk-Level Key Information Representation for Long Document Processing
• Title（参考訳）: ChuLo:長い文書処理のためのチャンクレベルキー情報表現
• Authors: Yan Li, Soyeon Caren Han, Yue Dai, Feiqi Cao,
• Abstract要約: ChuLoは長い文書分類のための新しいチャンク表現法である。 提案手法は,情報損失を最小限に抑え,トランスフォーマーモデルの有効性を向上させる。
• 参考スコア（独自算出の注目度）: 11.29459225491404
• License:
• Abstract: Transformer-based models have achieved remarkable success in various Natural Language Processing (NLP) tasks, yet their ability to handle long documents is constrained by computational limitations. Traditional approaches, such as truncating inputs, sparse self-attention, and chunking, attempt to mitigate these issues, but they often lead to information loss and hinder the model's ability to capture long-range dependencies. In this paper, we introduce ChuLo, a novel chunk representation method for long document classification that addresses these limitations. Our ChuLo groups input tokens using unsupervised keyphrase extraction, emphasizing semantically important keyphrase based chunk to retain core document content while reducing input length. This approach minimizes information loss and improves the efficiency of Transformer-based models. Preserving all tokens in long document understanding, especially token classification tasks, is especially important to ensure that fine-grained annotations, which depend on the entire sequence context, are not lost. We evaluate our method on multiple long document classification tasks and long document token classification tasks, demonstrating its effectiveness through comprehensive qualitative and quantitative analyses.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、様々な自然言語処理(NLP)タスクにおいて顕著な成功を収めてきたが、長いドキュメントを扱う能力は計算上の制限によって制限されている。 入力の切り抜き、スパース自己注意、チャンキングといった従来のアプローチは、これらの問題を緩和しようとするが、情報損失を招き、長い範囲の依存関係をキャプチャするモデルの能力を阻害する。 本稿では,これらの制約に対処する文書分類のためのチャンク表現手法であるChuLoを紹介する。 提案手法では,キーフレーズをベースとしたチャンクを意味的に強調し,コア文書の内容を保持するとともに,入力長の低減を図る。 このアプローチは、情報損失を最小限に抑え、Transformerベースのモデルの効率を向上させる。 長いドキュメント理解、特にトークン分類タスクにおけるすべてのトークンを保存することは、シーケンスのコンテキスト全体に依存する細かいアノテーションが失われないようにするために特に重要である。 本稿では,複数の長期文書分類タスクと長期文書トークン分類タスクについて評価し,その効果を総合的な質的・定量的分析を通じて実証する。

関連論文リスト

• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
  本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。 トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T18:34:58Z)
• Equipping Transformer with Random-Access Reading for Long-Context Understanding [9.433800833564279]
  長文モデリングはトランスフォーマーに基づく大規模言語モデルにとって重要な課題である。 本稿では,全てのトークンを検査することなく,変換器が効率よく長い文書を処理できる新しい読解戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-21T21:41:07Z)
• Summarization-based Data Augmentation for Document Classification [16.49709049899731]
  文書分類のための簡易かつ効果的な要約型データ拡張であるSUMMaugを提案する。 まず、対象文書分類タスクの学習が容易な例を示す。 次に、生成された擬似例を用いてカリキュラム学習を行う。
  論文  参考訳（メタデータ） (2023-12-01T11:34:37Z)
• Attention Sorting Combats Recency Bias In Long Context Language Models [69.06809365227504]
  現在の言語モデルは、世代間の長いコンテキストを効率的に組み込むことができないことが多い。 この問題に対する主要なコントリビュータは,事前トレーニング中に学んだと思われる注意点である。 我々は、この事実を活用して注意ソートを導入する:1ステップのデコードを実行し、それらが受け取った注意によって文書をソートし、プロセスを繰り返し、新しくソートされたコンテキストで回答を生成する。
  論文  参考訳（メタデータ） (2023-09-28T05:19:06Z)
• Information Extraction from Documents: Question Answering vs Token Classification in real-world setups [0.0]
  質問応答法と古典的トークン分類法を比較して,文書鍵情報抽出を行う。 我々の研究は、クリーンで比較的短いエンティティを扱う場合、トークン分類に基づくアプローチを用いるのが最善であることを示した。
  論文  参考訳（メタデータ） (2023-04-21T14:43:42Z)
• Fine-Grained Distillation for Long Document Retrieval [86.39802110609062]
  ロングドキュメント検索は、大規模コレクションからクエリ関連ドキュメントを取得することを目的としている。 知識蒸留は、異質だが強力なクロスエンコーダを模倣することによって、レトリバーを改善するために事実上のものである。 本稿では, 長期文書検索のための新たな学習フレームワークFGDを提案する。
  論文  参考訳（メタデータ） (2022-12-20T17:00:36Z)
• Query-Based Keyphrase Extraction from Long Documents [4.823229052465654]
  本稿では,長文をチャンクすることでキーフレーズ抽出の問題を克服する。 システムは、事前訓練されたBERTモデルを採用し、それを適応して、与えられたテキストがキーフレーズを形成する確率を推定する。
  論文  参考訳（メタデータ） (2022-05-11T10:29:30Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Robust Document Representations using Latent Topics and Metadata [17.306088038339336]
  本稿では,文書分類問題に対する事前学習型ニューラルネットワークモデルの微調整手法を提案する。 テキストとメタデータの両方をタスク形式でキャプチャする文書表現を生成します。 私たちのソリューションでは、メタデータを単にテキストで拡張するのではなく、明示的に組み込んでいます。
  論文  参考訳（メタデータ） (2020-10-23T21:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。