論文の概要: Extracting Dataset Mentions in Forced Displacement and FCV Documents: A Weakly Supervised Framework with LLM-Based Label Refinement

• arxiv url: http://arxiv.org/abs/2609.12107v1
• Date: Thu, 10 Sep 2026 18:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.511347
• Title: Extracting Dataset Mentions in Forced Displacement and FCV Documents: A Weakly Supervised Framework with LLM-Based Label Refinement
• Title（参考訳）: 強制変位とFCV文書中のデータセットの抽出:LCMに基づくラベルリファインメントを用いた弱監視フレームワーク
• Abstract要約: 本稿では,データセット抽出を強制変位,Fragile,Conflict, Violence(FCV)文書に適用するためのフレームワークを提案する。 一般的な研究文献に基づいて訓練された軽量モデルは、ラベルのないドメイン文書から候補データセットの言及を生成する。 我々は、研究、人道、運用文書にまたがる1,706本のテキストパスの独立したゴールドスタンダード・ベンチマークで、結果のモデルを評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Development and humanitarian organizations produce and support surveys, administrative registries, and other data resources to inform research, policy, and operations, yet systematically identifying where these datasets are referenced remains difficult. Such references are dispersed across research papers, project documents, humanitarian reports, and other unstructured text, limiting both the ability to trace data use and to identify potential gaps in data availability or dissemination. We present a weakly supervised framework for adapting dataset extraction to forced displacement and Fragile, Conflict, and Violence (FCV) documents without first constructing a large manually labeled training corpus. A lightweight model trained on general research literature generates candidate dataset mentions from unlabeled domain documents, which a frontier large language model (LLM) reviews in context, validating or rejecting candidates and correcting their extraction boundaries. The resulting annotations are supplemented with targeted synthetic and contrastive examples and used to fine-tune the lightweight model for large-scale extraction. We evaluate the resulting model on an independent gold-standard benchmark of 1,706 text passages spanning research, humanitarian, and operational documents. Across the full benchmark, the model achieves 74.1\% precision and 70.5\% recall at the mention level; among passages containing dataset references, precision reaches 89.5\%. At the passage level, the model achieves 88.2\% accuracy and 88.6\% specificity in distinguishing passages with dataset references from those without them. These results demonstrate a practical approach for constructing domain-specific supervision when labeled data are limited, and provide a technical foundation for larger-scale analysis of data use and potential gaps in the displacement data landscape.
• Abstract（参考訳）: 開発と人道的な組織は、調査、行政登録、その他のデータリソースを作成し、研究、政策、運用に通知するが、これらのデータセットが参照されている場所を体系的に特定することは困難である。 このような参照は研究論文、プロジェクト文書、人道的報告、その他の構造化されていないテキストに分散し、データの使用をトレースする能力と、データの可用性や拡散の潜在的なギャップを識別する能力の両方を制限する。 本稿では,大規模な手動ラベル付きトレーニングコーパスを構築することなく,データセット抽出を強制的変位,Fragile,Conflict,Violence(FCV)文書に適用するための弱教師付きフレームワークを提案する。 一般的な研究文献に基づいてトレーニングされた軽量モデルでは、未ラベルのドメイン文書から候補データセットが生成され、フロンティア大言語モデル(LLM)がコンテキストをレビューし、候補の検証や拒否、抽出境界の修正を行う。 得られたアノテーションは、ターゲットとなる合成例とコントラストの例で補足され、大規模抽出のための軽量モデルを微調整するために使用される。 我々は、研究、人道、運用文書にまたがる1,706本のテキストパスの独立したゴールドスタンダード・ベンチマークで、結果のモデルを評価した。 完全なベンチマークでは74.1\%の精度と70.5\%のリコールを実現しており、データセット参照を含むパスのうち、精度は89.5\%に達する。 通過レベルでは、データセット参照のないパスを区別する際、88.2\%の精度と88.6\%の特異性を達成する。 これらの結果は、ラベル付きデータに制限がある場合にドメイン固有の監視を構築するための実践的なアプローチを示し、変位データランドスケープにおけるデータ利用と潜在的なギャップの大規模解析のための技術基盤を提供する。

関連論文リスト

• Walk Before You Run: The Importance of Data Exploration for Data Analysis Agents [7.140798105546584]
  現在のツールやベンチマークでは、このステップは通常暗黙的に残され、ダウンストリームタスクのパフォーマンスとデータセット理解のギャップが生じる。 我々は、より強力なデータ探索サポートによってタスクパフォーマンスが向上するダウンストリーム実験を通して示す。 以上の結果から,強力なLCMとデータ分析エージェントは,たとえスプレッドシートの内容を読み込んだとしても,重要な論理構造を欠いていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-08-17T03:19:59Z)
• Benchmarking Open-Source Layout Detection Models for Data Snapshot Extraction from Institutional Documents [0.0]
  テキストデータスナップショット抽出のためのベンチマークデータセットと評価フレームワークを提案する。 複数のオープンソースのレイアウト検出モデルをベンチマークし、検出性能と空間抽出品質を評価した。 これらの知見は、汎用文書レイアウト分析と運用上有用なデータスナップショット抽出の間に持続的なギャップを浮き彫りにする。
  論文  参考訳（メタデータ） (2026-06-04T14:47:40Z)
• AI for Monitoring and Classifying Data Used in Research Literature [0.0]
  研究文献におけるデータセットの使用状況を監視するための同等のインフラストラクチャは存在しない。 従来のNLPアプローチはこれらの課題に対処する。 本稿では,データセット参照抽出,関係識別,利用コンテキスト分類を共同で行うマルチタスクGLiNERベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-28T21:18:30Z)
• OpenDataArena: A Fair and Open Arena for Benchmarking Post-Training Dataset Value [74.80873109856563]
  OpenDataArena(ODA)は、トレーニング後のデータの本質的な価値をベンチマークするために設計された、総合的でオープンなプラットフォームである。 ODAは4つの主要な柱からなる包括的なエコシステムを確立している。 (i) 多様なモデル間で公平でオープンな比較を保証する統一的なトレーニング評価パイプライン、 (ii) 異なる軸数に沿ってデータ品質をプロファイリングする多次元スコアリングフレームワーク、 (iii) データセットの系図を視覚化してコンポーネントソースを識別するインタラクティブなデータ系統探索である。
  論文  参考訳（メタデータ） (2025-12-16T03:33:24Z)
• Large Language Models and Synthetic Data for Monitoring Dataset Mentions in Research Papers [0.0]
  本稿では,研究領域間のデータセット参照検出を自動化する機械学習フレームワークを提案する。 我々は,研究論文からゼロショット抽出,品質評価のためのLCM-as-a-Judge,および改良のための推論剤を用いて,弱教師付き合成データセットを生成する。 推論では、ModernBERTベースの分類器がデータセットの参照を効率的にフィルタリングし、高いリコールを維持しながら計算オーバーヘッドを低減する。
  論文  参考訳（メタデータ） (2025-02-14T16:16:02Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models [56.27786433792638]
  STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。 我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。 実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T12:15:19Z)
• Utilizing Out-Domain Datasets to Enhance Multi-Task Citation Analysis [4.526582372434088]
  引用感情分析は、データセットアノテーションの不足と膨大なコストの両方に悩まされている。 モデルパフォーマンスを向上させるため、トレーニング中のドメイン外データの影響について検討する。 本稿では,感情分析と意図分析を対象とする,エンドツーエンドのトレーニング可能なマルチタスクモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-22T13:33:48Z)
• Data-SUITE: Data-centric identification of in-distribution incongruous examples [81.21462458089142]
  Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。 我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
  論文  参考訳（メタデータ） (2022-02-17T18:58:31Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)
• Summary-Source Proposition-level Alignment: Task, Datasets and Supervised Baseline [94.0601799665342]
  資料の参照要約における文のアライメントは,補助的な要約作業として有用であった。 本稿では,2つの重要な新機能を導入しながら,要約ソースアライメントを明示的なタスクとして確立することを提案する。 我々は提案レベルのアライメントのための新しいトレーニングデータセットを作成し、利用可能な要約評価データから自動的に抽出する。 教師なしアプローチよりも優れたアライメント品質を示す教師付き命題アライメントベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-01T17:27:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。