論文の概要: Method for Aggregating Unstructured Data Using Large Language Models

• arxiv url: http://arxiv.org/abs/2604.16425v1
• Date: Sat, 04 Apr 2026 15:16:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:13.986948
• Title: Method for Aggregating Unstructured Data Using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた非構造化データの集約手法
• Abstract要約: 本稿では,Large Language Models (LLMs) を用いた多種多様なWebソースからの非構造化データの自動収集と集約手法を提案する。 提案アルゴリズムは,ハイブリッドWebスクレイピング(静的ページ用Goose3,動的ページ用Selenium+WebDriver),非リレーショナルデータベース管理システム(DBMS)のデータストレージ,LLMを用いた情報抽出と正規化を統合した。 実験の結果,キーフィールドの完成度は高い精度を示し,Webページ構造の変化に対する提案手法の堅牢性を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a method for the automated collection and aggregation of unstructured data from diverse web sources, utilizing Large Language Models (LLMs). The primary challenge with existing techniques is their instability when the structure of webpages changes, their limited support for dynamically loaded content during information collection, and the requirement for labor-intensive manual design of data pre-processing processes. The proposed algorithm integrates hybrid web scraping (Goose3 for static pages and Selenium+WebDriver for dynamic ones), data storage in a non-relational MongoDB database management system (DBMS), and intelligent extraction and normalization of information using LLMs into a predetermined JSON schema. A key scientific contribution of this study is a two-stage verification process for the generated data, designed to eliminate potential hallucinations byy comparing the embeddings of multiple LLM outputs obtained with different temperature parameter values, combined with formalized rules for monitoring data consistency and integrity. The experimental findings indicate a high level of accuracy in the completion of key fields, as well as the robustness of the proposed methodology to changes in web page structures. This makes it suitable for use in tasks such as news content aggregation, monitoring, and log analysis in near real-time mode, with the capacity to scale rapidly in terms of the number of sources.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) を用いて,多様なWebソースから非構造化データの自動収集と集約を行う手法を提案する。 既存の技術の主な課題は、Webページの構造が変化したときの不安定さ、情報収集中に動的にロードされたコンテンツに対するサポートの制限、データ前処理プロセスの労働集約的な手作業設計の必要性である。 提案アルゴリズムは、ハイブリッドWebスクレイピング(静的ページ用Goose3、動的ページ用Selenium+WebDriver)、非リレーショナルMongoDBデータベース管理システム(DBMS)のデータストレージ、LLMを用いた情報のインテリジェント抽出と正規化を所定のJSONスキーマに統合する。 この研究の重要な科学的貢献は、生成したデータの2段階の検証プロセスであり、異なる温度パラメータ値で得られた複数のLCM出力の埋め込みを、データの一貫性と整合性を監視するための形式化された規則と組み合わせて比較することにより、潜在的幻覚をなくすことを目的としている。 実験の結果,キーフィールドの完成度は高い精度を示し,Webページ構造の変化に対する提案手法の堅牢性を示した。 これにより、ニュースコンテンツアグリゲーション、モニタリング、ログ分析などのタスクをほぼリアルタイムで実行し、ソース数の観点から高速にスケールすることができる。

関連論文リスト

• Leveraging Large Language Models for Automated Scalable Development of Open Scientific Databases [3.332543256537694]
  本稿では,Large Language Models (LLMs) を利用して,オープンサイエンスデータベースの自動化とスケーラブルな開発を行う Web ベースのツールを紹介する。 このツールは、キーワードベースのクエリ、API可能なデータ検索、LLMベースのテキスト分類を組み合わせた、自動化および統一されたフレームワークに基づいている。 提案するフレームワークはスケーラブルかつドメインに依存しないものであり、スケーラブルなオープンサイエンスデータベースを構築するためにさまざまな分野に適用することができる。
  論文  参考訳（メタデータ） (2026-03-07T05:58:58Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• TAIJI: MCP-based Multi-Modal Data Analytics on Data Lakes [25.05627023905607]
  モデルコンテキストプロトコル(MCP)に基づく新しいマルチモーダルデータ分析システムを提案する。 まず,データレイクにおけるマルチモーダルデータのクエリに適したセマンティック演算子階層を定義する。 次に、MPPベースの実行フレームワークを紹介し、各MPPサーバは、特定のデータモダリティに最適化された特別な基礎モデルをホストする。
  論文  参考訳（メタデータ） (2025-05-16T14:03:30Z)
• Simplifying Data Integration: SLM-Driven Systems for Unified Semantic Queries Across Heterogeneous Databases [0.0]
  本稿では,Small Language Model(SLM)をベースとした,軽量な検索・拡張生成(RAG)とセマンティック・アウェアなデータ構造化の進歩を相乗化するシステムを提案する。 SLMを用いた構造化データ抽出にMiniRAGのセマンティック・アウェア・ヘテロジニアス・グラフインデックスとトポロジ・エンハンス・検索を統合し,従来の手法の限界に対処する。 実験結果は精度と効率性において優れた性能を示し、教師なし評価指標としてのセマンティックエントロピーの導入はモデルの不確実性に対する堅牢な洞察を提供する。
  論文  参考訳（メタデータ） (2025-04-08T03:28:03Z)
• QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding [53.69841526266547]
  トレーニング済みのVision-Language Modelを新しいデータセットで微調整することは、ビジョンエンコーダの最適化に不足することが多い。 視覚エンコーダにクエリの埋め込みを統合する,新しい,合理化されたアーキテクチャ保存アプローチであるQIDを導入する。
  論文  参考訳（メタデータ） (2025-04-03T18:47:16Z)
• Beyond Quacking: Deep Integration of Language Models and RAG into DuckDB [44.057784044659726]
  大規模言語モデル(LLM)により、このような検索と推論データパイプラインのプロトタイプがより簡単になった。 これはしばしば、データシステムのオーケストレーション、データムーブメントの管理、低レベルの詳細処理を含む。 我々はFlockMTLを紹介した。FlockMTLはLLM機能と検索拡張生成を深く統合した抽象化用拡張である。
  論文  参考訳（メタデータ） (2025-04-01T19:48:17Z)
• DatawiseAgent: A Notebook-Centric LLM Agent Framework for Adaptive and Robust Data Science Automation [10.390461679868197]
  我々は、適応的で堅牢なデータサイエンス自動化のためのノートブック中心の大規模言語モデル(LLM)エージェントフレームワークであるDatawiseAgentを紹介する。 人間のデータサイエンティストが計算ノートブックでどのように機能するかに触発されたDatawiseAgentは、統一された相互作用表現とマルチステージアーキテクチャを導入した。
  論文  参考訳（メタデータ） (2025-03-10T08:32:33Z)
• Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
  本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。 Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。 実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-10-31T16:34:03Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
  研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。 本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。 提案されたフレームワークは使いやすく、柔軟です。
  論文  参考訳（メタデータ） (2024-02-26T07:22:51Z)
• SEED: Domain-Specific Data Curation With Large Language Models [22.54280367957015]
  LLM-as-compilerアプローチであるSEEDは,Large Language Models(LLM)を介して,ドメイン固有のデータキュレーションソリューションを自動的に生成する。 SEEDは、4つのLCMアシストモジュールから自動的に選択し、そのタスクに最も適したハイブリッド実行パイプラインを形成する。
  論文  参考訳（メタデータ） (2023-10-01T17:59:20Z)
• Data Augmentation for Abstractive Query-Focused Multi-Document Summarization [129.96147867496205]
  2つのQMDSトレーニングデータセットを提示し,2つのデータ拡張手法を用いて構築する。 これらの2つのデータセットは相補的な性質を持ち、すなわちQMDSCNNは実際のサマリを持つが、クエリはシミュレートされる。 組み合わせたデータセット上にエンドツーエンドのニューラルネットワークモデルを構築し、DUCデータセットに最新の転送結果をもたらします。
  論文  参考訳（メタデータ） (2021-03-02T16:57:01Z)
• AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with Autotuned Data-Parallel Training for Tabular Data [11.552769149674544]
  大規模データセットに対する高性能な予測モデルの開発は難しい課題である。 最近の自動機械学習(AutoML)は、予測モデル開発を自動化するための有望なアプローチとして現れている。 我々は,老化進化(AgE)とニューラルアーキテクチャ空間を探索する並列NAS法を組み合わせたAgEBO-Tabularを開発した。
  論文  参考訳（メタデータ） (2020-10-30T16:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。