論文の概要: S2 Chunking: A Hybrid Framework for Document Segmentation Through Integrated Spatial and Semantic Analysis

• arxiv url: http://arxiv.org/abs/2501.05485v1
• Date: Wed, 08 Jan 2025 09:06:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:28:35.800474
• Title: S2 Chunking: A Hybrid Framework for Document Segmentation Through Integrated Spatial and Semantic Analysis
• Title（参考訳）: S2チャンキング: 統合的空間的・意味的分析による文書セグメンテーションのためのハイブリッドフレームワーク
• Authors: Prashant Verma,
• Abstract要約: 文書チャンキングは自然言語処理(NLP)において重要な課題である 本稿では,レイアウト構造,意味解析,空間関係を組み合わせた新しいハイブリッド手法を提案する。 実験の結果、このアプローチは従来の手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Document chunking is a critical task in natural language processing (NLP) that involves dividing a document into meaningful segments. Traditional methods often rely solely on semantic analysis, ignoring the spatial layout of elements, which is crucial for understanding relationships in complex documents. This paper introduces a novel hybrid approach that combines layout structure, semantic analysis, and spatial relationships to enhance the cohesion and accuracy of document chunks. By leveraging bounding box information (bbox) and text embeddings, our method constructs a weighted graph representation of document elements, which is then clustered using spectral clustering. Experimental results demonstrate that this approach outperforms traditional methods, particularly in documents with diverse layouts such as reports, articles, and multi-column designs. The proposed method also ensures that no chunk exceeds a specified token length, making it suitable for use cases where token limits are critical (e.g., language models with input size limitations)
• Abstract（参考訳）: 文書チャンキングは自然言語処理(NLP)において重要なタスクであり、文書を意味のあるセグメントに分割する。 従来の手法は、複雑な文書の関連を理解するために不可欠である要素の空間的レイアウトを無視し、意味分析にのみ依存することが多い。 本稿では,文書チャンクの凝集度と精度を高めるために,レイアウト構造,意味解析,空間関係を組み合わせた新しいハイブリッド手法を提案する。 ボックス情報(bbox)とテキスト埋め込みを利用して文書要素の重み付きグラフ表現を構築し,スペクトルクラスタリングを用いてクラスタ化する。 実験により, 従来の手法, 特にレポート, 記事, マルチカラムデザインなど, 多様なレイアウトの文書において, 従来の手法よりも優れていることが示された。 また,提案手法では,チャンクが特定のトークン長を超えないことを保証し,トークン制限が重要なユースケース(例えば,入力サイズ制限のある言語モデル)に適している。

関連論文リスト

• Graph-tree Fusion Model with Bidirectional Information Propagation for Long Document Classification [20.434941308959786]
  長い文書分類は、その広範な内容と複雑な構造のために困難を呈する。 既存のメソッドはトークン制限に苦しむことが多く、ドキュメント内の階層的関係を適切にモデル化することができない。 本手法は,文エンコーディングのための構文木と文書エンコーディングのための文書グラフを統合し,より詳細な構文関係とより広い文書コンテキストを抽出する。
  論文  参考訳（メタデータ） (2024-10-03T19:25:01Z)
• Contextual Document Embeddings [77.22328616983417]
  本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。 第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。 第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
  論文  参考訳（メタデータ） (2024-10-03T14:33:34Z)
• Hypergraph based Understanding for Document Semantic Entity Recognition [65.84258776834524]
  我々は,ハイパグラフアテンションを利用したハイパグラフアテンション文書セマンティックエンティティ認識フレームワークHGAを構築し,エンティティ境界とエンティティカテゴリを同時に重視する。 FUNSD, CORD, XFUNDIE で得られた結果は,本手法が意味的エンティティ認識タスクの性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2024-07-09T14:35:49Z)
• Lightweight Spatial Modeling for Combinatorial Information Extraction From Documents [31.434507306952458]
  文書エンティティのK-nearest-neighbor(KNN)グラフに基づいて,注目度計算の新たなバイアスを取り入れたKNNフォーマを提案する。 また、多くの文書に存在する1対1のマッピング特性に対処するために、マッチング空間を用いる。 本手法はトレーニング可能なパラメータの数の観点から既存の手法と比較して非常に効率的である。
  論文  参考訳（メタデータ） (2024-05-08T10:10:38Z)
• From Text Segmentation to Smart Chaptering: A Novel Benchmark for Structuring Video Transcriptions [63.11097464396147]
  音声コンテンツに焦点をあてた新しいベンチマークYTSegを導入し、その内容は本質的に非構造的であり、トポロジと構造的にも多様である。 また,高効率な階層分割モデルMiniSegを導入する。
  論文  参考訳（メタデータ） (2024-02-27T15:59:37Z)
• Leveraging Collection-Wide Similarities for Unsupervised Document Structure Extraction [61.998789448260005]
  本稿では,コレクション内の文書の典型的構造を特定することを提案する。 任意のヘッダのパラフレーズを抽象化し、各トピックを各ドキュメントのロケーションにグルーピングします。 文書間の類似性を利用した教師なしグラフベース手法を開発した。
  論文  参考訳（メタデータ） (2024-02-21T16:22:21Z)
• DocLLM: A layout-aware generative language model for multimodal document understanding [12.093889265216205]
  本稿では,従来の大規模言語モデル(LLM)の軽量拡張であるDocLLMについて述べる。 本モデルは,空間配置構造を組み込むための境界ボックス情報にのみ焦点をあてる。 我々のソリューションは、すべてのタスクにまたがる16のデータセットのうち14のデータセットでSotA LLMよりも優れており、これまで見つからなかった5つのデータセットのうち4のデータセットで十分に一般化されていることを実証しています。
  論文  参考訳（メタデータ） (2023-12-31T22:37:52Z)
• Synthetic Document Generator for Annotation-free Layout Recognition [15.657295650492948]
  本稿では,空間的位置,範囲,レイアウト要素のカテゴリを示すラベル付きリアル文書を自動生成する合成文書生成装置について述べる。 合成文書上で純粋に訓練された深層レイアウト検出モデルが,実文書を用いたモデルの性能と一致することを実証的に示す。
  論文  参考訳（メタデータ） (2021-11-11T01:58:44Z)
• Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
  同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。 同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。 我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
  論文  参考訳（メタデータ） (2021-06-15T20:55:55Z)
• Nutribullets Hybrid: Multi-document Health Summarization [36.95954983680022]
  本稿では,入力文書の類似性と矛盾を強調する比較要約を生成する手法を提案する。 私たちのフレームワークは、より忠実で関連性があり、集約に敏感な要約につながります。
  論文  参考訳（メタデータ） (2021-04-08T01:44:29Z)
• Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation [50.01708049531156]
  我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。 詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。 出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
  論文  参考訳（メタデータ） (2020-02-24T12:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。