論文の概要: An Ontology-Guided, Deduplication-Aware Extraction Layer for Knowledge Graph Construction from Heterogeneous Documents

• arxiv url: http://arxiv.org/abs/2607.28662v1
• Date: Wed, 22 Jul 2026 09:45:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-09 10:00:34.252459
• Title: An Ontology-Guided, Deduplication-Aware Extraction Layer for Knowledge Graph Construction from Heterogeneous Documents
• Title（参考訳）: 不均一文書からの知識グラフ構築のためのオントロジーガイド付き重複対応抽出層
• Abstract要約: 本稿では,ライブドキュメントストリームを形式オントロジーに整合した検証済み知識グラフに変換する生産抽出層の設計,実装,実証的改良について述べる。 類似性を埋め込み、抽出プロンプトに注入することにより、キュレートしたオントロジーの関連スライスをグラフデータベースからライブで検索する。 抽出された結果は、決定論的クリーニング、チャンクのマージ、リレーションのための2番目のパス、モデル推論を必要としない6つの重複アルゴリズム、コンフリクトガードが類似性スコアをオーバーライドできない埋め込み分解サブシステムという5つのステージの洗練パイプラインを通過します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models extract entities and relationships from unstructured documents fluently but inconsistently: type vocabularies fracture across documents, the same person surfaces under several name variants, relationships duplicate, and distinct individuals who share a name risk silent conflation. This paper presents the design, implementation, and empirical refinement of a production extraction layer that converts a live document stream into a validated knowledge graph aligned to a formal ontology. The system consumes document metadata from Kafka, routes PDF, spreadsheet, Office, and image content through handlers built for each format, and extracts entities and relationships in two passes using a locally hosted Qwen3.5-9B model tuned on the ontology. Its distinguishing component is ontology-guided extraction: the relevant slice of a curated ontology is retrieved live from a graph database by embedding similarity and injected into the extraction prompt, reducing catalog overhead by about 94 percent relative to static domain slices. Extracted results then pass through a refinement pipeline of five stages: deterministic cleaning, merging across chunks, a second pass for relationships, six deduplication algorithms that require no model inference, and an embedding resolution subsystem whose conflict guard no similarity score can override. Evaluation on intelligence corpora improved search recall from roughly 70 to 95 percent with no false merges, and corrected seven classes of silent quality defect, ranging from a bug that truncated source text by a single character to the systematic duplication of entities that carried title prefixes.
• Abstract（参考訳）: 大規模言語モデルは、非構造化文書から実体と関係を抽出するが、矛盾なく、文書をまたいだ型語彙の破断、複数の名前の変種の下で同一人物が表面化し、関係が重複し、名前を共有する個人は黙示的な衝突のリスクを負う。 本稿では,ライブドキュメントストリームを形式オントロジーに整合した検証済み知識グラフに変換する生産抽出層の設計,実装,実証的改良について述べる。 このシステムは、Kafkaからのドキュメントメタデータを消費し、各フォーマット用に構築されたハンドラを通じてPDF、スプレッドシート、Office、イメージコンテンツをルーティングし、オントロジーにチューニングされたローカルホストのQwen3.5-9Bモデルを使用して、2つのパスでエンティティと関係を抽出する。 関連するオントロジーのスライスをグラフデータベースから検索し、類似性を埋め込んで抽出プロンプトに注入することで、静的ドメインスライスと比較してカタログオーバーヘッドを約94%削減する。 抽出された結果は、決定論的クリーニング、チャンクのマージ、リレーションのための2番目のパス、モデル推論を必要としない6つの重複アルゴリズム、コンフリクトガードが類似性スコアをオーバーライドできない埋め込み分解サブシステムという5つのステージの洗練パイプラインを通過します。 インテリジェンスコーパスの評価では、検索リコールを70～95%改善し、偽のマージを伴わず、7種類のサイレント品質欠陥を修正した。

関連論文リスト

• Technical Manual for a Toolkit for Measuring Contextual Individuation in Transformer Language Models [0.0]
  トランスフォーマー言語モデルは、その埋め込み層における単語タイプに単一の文脈非依存ベクトルを割り当てるが、その単語が後の層でコンテキストによって発生すると広く信じられている。 この信念をきれいにテストするには、文脈と意図された感覚が制御されたラベル付けされた方法で変化している間に、単語の形式を固定する構造が必要である。 このマニュアルはそのような構造を中心に構築されたオープンツールキットを文書化し、それをブリッジ形式と呼ぶ。
  論文  参考訳（メタデータ） (2026-09-04T16:38:39Z)
• Curate Before You Connect: Identity and Ontology Tagging in a Production Knowledge Graph [0.0]
  本稿では、評価された抽出ストリームを知識グラフに変換する、摂取層とオントロジータグ付け層について述べる。 本稿では、識別子列、名前列、表示名、型スコープ位置から同一性を決定するレコード識別はしごについて述べる。 グラフの適合性負債を定量化し, 未定義の一次クラスを補う二次分類を示し, 775人の決定に対して48,403人の提案を保留するキュレーションキューを記述した。
  論文  参考訳（メタデータ） (2026-08-11T08:30:37Z)
• LEDGER: Scaling Agentic Document Editing with Dependency-aware Graph Retrieval [25.28453025760491]
  エージェント文書編集における新しいコンテキスト工学的課題に取り組むためにLEDGERを導入する。 LEDGERは、文書構造を明示的にモデル化する軽量な依存性グラフを構築する。 各種文書の種類と長さの異なる1.9kテストケースのベンチマークでLEDGERを評価した。
  論文  参考訳（メタデータ） (2026-06-19T17:35:05Z)
• CHOP: Chunkwise Context-Preserving Framework for RAG on Multi Documents [6.134883925217888]
  大規模言語モデル(LLM)によるチャンク関係を反復的に評価するフレームワークであるCHOPを提案する。 CHOPはCNM-ExtractorとContinuity Decision Moduleという2つの重要なコンポーネントを統合している。 ベンチマークデータセットの実験では、CHOPは検索の混乱を緩和し、高品質な知識ベースを構築するためのスケーラブルなアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-17T08:05:17Z)
• MoDora: Tree-Based Semi-Structured Document Analysis System [62.01015188258797]
  半構造化文書は、様々な不規則なレイアウトで配置された様々なインターリーブされたデータ要素を統合する。 MoDora は半構造化文書解析のための LLM を利用したシステムである。 実験では、MoDoraは5.97%-61.07%の精度でベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-02-26T14:48:49Z)
• Learning Refined Document Representations for Dense Retrieval via Deliberate Thinking [58.69615583599489]
  Deliberate Thinking based Retriever (Debater) は、段階的な思考プロセスを導入することで文書表現を強化する新しいアプローチである。 Debaterは、いくつかのベンチマークで既存のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• Graph-tree Fusion Model with Bidirectional Information Propagation for Long Document Classification [20.434941308959786]
  長い文書分類は、その広範な内容と複雑な構造のために困難を呈する。 既存のメソッドはトークン制限に苦しむことが多く、ドキュメント内の階層的関係を適切にモデル化することができない。 本手法は,文エンコーディングのための構文木と文書エンコーディングのための文書グラフを統合し,より詳細な構文関係とより広い文書コンテキストを抽出する。
  論文  参考訳（メタデータ） (2024-10-03T19:25:01Z)
• Contextual Document Embeddings [77.22328616983417]
  本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。 第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。 第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
  論文  参考訳（メタデータ） (2024-10-03T14:33:34Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Synthetic Document Generator for Annotation-free Layout Recognition [15.657295650492948]
  本稿では,空間的位置,範囲,レイアウト要素のカテゴリを示すラベル付きリアル文書を自動生成する合成文書生成装置について述べる。 合成文書上で純粋に訓練された深層レイアウト検出モデルが,実文書を用いたモデルの性能と一致することを実証的に示す。
  論文  参考訳（メタデータ） (2021-11-11T01:58:44Z)
• Neural Deepfake Detection with Factual Structure of Text [78.30080218908849]
  テキストのディープフェイク検出のためのグラフベースモデルを提案する。 我々のアプローチは、ある文書の事実構造をエンティティグラフとして表現する。 本モデルでは,機械生成テキストと人文テキストの事実構造の違いを識別することができる。
  論文  参考訳（メタデータ） (2020-10-15T02:35:31Z)
• Fast(er) Reconstruction of Shredded Text Documents via Self-Supervised Deep Asymmetric Metric Learning [62.34197797857823]
  細断文書の自動復元における中心的な問題は、細断文書の相互互換性評価である。 本研究は,推定回数を線形にスケールするペアワイド互換性を測るスケーラブルな深層学習手法を提案する。 提案手法は,505個のシュレッダーを持つテストインスタンスに対して,22倍の高速化を実現した最先端技術に匹敵する精度を有する。
  論文  参考訳（メタデータ） (2020-03-23T03:22:06Z)
• Pairwise Multi-Class Document Classification for Semantic Relations between Wikipedia Articles [5.40541521227338]
  2つの文書間の関係をペアワイズ文書分類タスクとして検索する問題をモデル化する。 文書間の意味的関係を見つけるために,GloVe, paragraph-s,BERT,XLNetなどの一連の手法を適用する。 我々は,新たに提案された32,168のウィキペディア記事ペアと,セマンティックドキュメントの関係を定義するウィキデータプロパティに関する実験を行った。
  論文  参考訳（メタデータ） (2020-03-22T12:52:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。