論文の概要: Hierarchical Graph Convolutional Network Approach for Detecting Low-Quality Documents
- arxiv url: http://arxiv.org/abs/2610.21350v1
- Date: Thu, 15 Oct 2026 06:31:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.222325
- Title: Hierarchical Graph Convolutional Network Approach for Detecting Low-Quality Documents
- Title（参考訳）: 低品質文書検出のための階層型グラフ畳み込みネットワークアプローチ
- Abstract要約: 本稿では,文書内の不整合やタイトルとボディ間の不整合を検出する階層型グラフ畳み込みネットワーク(HGCN)を提案する。
実験の結果、HGCNは91.20%の精度で優れた性能を示した。
我々は、我々のモデルが現実世界の低品質文書の検出とフィルタリングに普遍的に適用できることを期待している。
- 参考スコア（独自算出の注目度）: 15.729576897207833
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Consistency within a document is a crucial feature indicative of its quality. Recently, within the vast amount of information produced across various media, there exists a significant number of low-quality documents that either lack internal consistency or contain content utterly unrelated to their headlines. Such low-quality documents induce fatigue in readers and undermine the credibility of the media source that provided them. Consequently, research to automatically detect these low-quality documents based on natural language processing is imperative. In this study, we introduce a hierarchical graph convolutional network (HGCN) that can detect internal inconsistencies within a document and incongruences between the title and body. Moreover, we constructed the Inconsistency Dataset, leveraging published news data and its meta-data, to train our model to detect document inconsistencies. Experimental results demonstrated that the HGCN achieved superior performance with an accuracy of 91.20% on our constructedInconsistency Dataset, outperforming other comparative models. Additionally, on the publicly available incongruent-related dataset, the proposed methodology demonstrated a performance of 92.00%, validating its general applicability. Finally, an ablation study further confirmed the significant impact of meta-data utilization on performance enhancement. We anticipate that our model can be universally applied to detect and filter low-quality documents in the real world.
- Abstract（参考訳）: ドキュメント内の一貫性は、その品質を示す重要な特徴である。
近年,様々なメディアにまたがる膨大な量の情報の中には,内部の整合性に欠ける,あるいは見出しと全く無関係な内容を含む低品質な文書が多数存在している。
このような低品質な文書は読者の疲労を引き起こし、それらを提供するメディアソースの信頼性を損なう。
したがって、自然言語処理に基づいてこれらの低品質文書を自動的に検出する研究が不可欠である。
本研究では,文書内における不整合やタイトルとボディ間の不整合を検出する階層型グラフ畳み込みネットワーク(HGCN)を提案する。
さらに、出版されたニュースデータとそのメタデータを活用する不整合データセットを構築し、文書の不整合を検出するためのモデルを訓練した。
実験の結果,HGCNは構築したInconsistency Datasetに対して91.20%の精度で優れた性能を示し,他の比較モデルよりも優れていた。
さらに、一般に公開されている不整合関係データセットに基づいて、提案手法は92.00%のパフォーマンスを示し、その一般的な適用性を検証する。
最後に, メタデータの利用が性能向上に与える影響について検討した。
我々は、我々のモデルが現実世界の低品質文書の検出とフィルタリングに普遍的に適用できることを期待している。
関連論文リスト
- Benchmarking Open-Source Layout Detection Models for Data Snapshot Extraction from Institutional Documents [0.0]
テキストデータスナップショット抽出のためのベンチマークデータセットと評価フレームワークを提案する。
複数のオープンソースのレイアウト検出モデルをベンチマークし、検出性能と空間抽出品質を評価した。
これらの知見は、汎用文書レイアウト分析と運用上有用なデータスナップショット抽出の間に持続的なギャップを浮き彫りにする。
論文 参考訳（メタデータ） (2026-06-04T14:47:40Z) - DocDjinn: Controllable Synthetic Document Generation with VLMs and Handwriting Diffusion [5.342168661302001]
視覚言語モデル(VLM)を用いた制御可能な合成文書生成のための新しいフレームワークを提案する。
提案手法は,既存のソースデータセットの分布に従う視覚的かつ意味論的に一貫した合成文書を生成する。
我々のフレームワークは、実世界のデータセット全体のパフォーマンスに対して平均87%の価格で達成されていることを示す。
論文 参考訳（メタデータ） (2026-02-25T11:52:13Z) - PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review [54.141490756509306]
本稿では、エラーデータセットであるPaperAudit-Datasetと、自動レビューフレームワークであるPaperAudit-Reviewの2つのコンポーネントからなるPaperAudit-Benchを紹介する。
PaperAudit-Benchの実験では、モデルと検出深さの誤差検出可能性に大きなばらつきが示された。
本研究では,SFTおよびRLによる軽量LLM検出器のトレーニングをサポートし,計算コストの削減による効率的な誤り検出を実現する。
論文 参考訳（メタデータ） (2026-01-07T04:26:12Z) - DOCR-Inspector: Fine-Grained and Automated Evaluation of Document Parsing with VLM [35.910677096654574]
文書解析は、構造化されていないPDF画像を半構造化データに変換することを目的としており、多様な領域における情報のデジタル化と活用を容易にする。
一般的なプラクティスは、しばしば標準ベンチマークで最高のパフォーマンスモデルを選択する。
本稿では,文書解析評価をきめ細かな誤り検出と解析として形式化するDOCR-Inspectorを紹介する。
論文 参考訳（メタデータ） (2025-12-11T13:16:33Z) - Improving Document Retrieval Coherence for Semantically Equivalent Queries [63.97649988164166]
同じ文書を検索する際のモデルのコヒーレンスを改善する訓練DRにおける多段階ランク付け損失のバリエーションを提案する。
この損失は、多様だがセマンティックな等価なクエリのために検索されたトップkランクのドキュメント間の不一致を罰する。
論文 参考訳（メタデータ） (2025-08-11T13:34:59Z) - Out-of-Distribution Detection with Attention Head Masking for Multimodal Document Classification [3.141006099594433]
本稿では,文書分類システムにおける多モードOODタスクに対するアテンションヘッドマスキング(AHM)と呼ばれる新しい手法を提案する。
実験により,提案手法がすべての最先端手法より優れていることを示す。
高品質な公開可能なドキュメントデータセットの不足に対処するために、新しいドキュメントAIデータセットであるFunderDocsを紹介します。
論文 参考訳（メタデータ） (2024-08-20T23:30:00Z) - DECDM: Document Enhancement using Cycle-Consistent Diffusion Models [3.3813766129849845]
近年の拡散モデルに触発された文書レベルの画像変換手法であるDECDMを提案する。
本手法は,ソース(ノイズ入力)とターゲット(クリーン出力)モデルを独立にトレーニングすることで,ペアトレーニングの限界を克服する。
また、翻訳中の文字・グリフ保存を改善するための単純なデータ拡張戦略も導入する。
論文 参考訳（メタデータ） (2023-11-16T07:16:02Z) - Analyzing Dataset Annotation Quality Management in the Wild [63.07224587146207]
最先端モデルのトレーニングと評価に使用される一般的なデータセットでさえ、誤ったアノテーションやバイアス、アーティファクトの量は無視できない。
データセット作成プロジェクトに関するプラクティスやガイドラインは存在するが、品質管理の実施方法に関する大規模な分析はまだ行われていない。
論文 参考訳（メタデータ） (2023-07-16T21:22:40Z) - Evaluating and Improving Factuality in Multimodal Abstractive
Summarization [91.46015013816083]
そこで我々は,CLIPBERTScoreを提案する。
ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。
本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
論文 参考訳（メタデータ） (2022-11-04T16:50:40Z) - Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。
クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。
将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
論文 参考訳（メタデータ） (2021-04-20T17:16:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。