論文の概要: Flexible metadata harvesting for ecology using large language models

• arxiv url: http://arxiv.org/abs/2508.20115v1
• Date: Thu, 21 Aug 2025 10:10:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:01.52424
• Title: Flexible metadata harvesting for ecology using large language models
• Title（参考訳）: 大規模言語モデルを用いた生態学のためのフレキシブルメタデータの抽出
• Authors: Zehao Lu, Thijs L van der Plas, Parinaz Rashidi, W Daniel Kissling, Ioannis N Athanasiadis,
• Abstract要約: 大規模言語モデル(LLM)に基づくメタデータ抽出装置を開発した。 任意のデータセットのランディングページからメタデータを柔軟に抽出する。 既存のメタデータ標準を使用して、これらをユーザ定義の統一フォーマットに変換する。
• 参考スコア（独自算出の注目度）: 3.4117490081172774
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large, open datasets can accelerate ecological research, particularly by enabling researchers to develop new insights by reusing datasets from multiple sources. However, to find the most suitable datasets to combine and integrate, researchers must navigate diverse ecological and environmental data provider platforms with varying metadata availability and standards. To overcome this obstacle, we have developed a large language model (LLM)-based metadata harvester that flexibly extracts metadata from any dataset's landing page, and converts these to a user-defined, unified format using existing metadata standards. We validate that our tool is able to extract both structured and unstructured metadata with equal accuracy, aided by our LLM post-processing protocol. Furthermore, we utilise LLMs to identify links between datasets, both by calculating embedding similarity and by unifying the formats of extracted metadata to enable rule-based processing. Our tool, which flexibly links the metadata of different datasets, can therefore be used for ontology creation or graph-based queries, for example, to find relevant ecological and environmental datasets in a virtual research environment.
• Abstract（参考訳）: 大規模でオープンなデータセットは、特に研究者が複数のソースからデータセットを再利用することで、新たな洞察を得られることによって、生態研究を加速することができる。 しかし、最も適したデータセットを組み合わせ統合するためには、研究者は様々なメタデータの可用性と標準で、多様な生態および環境データプロバイダプラットフォームをナビゲートする必要がある。 この障害を克服するため,我々は,任意のデータセットのランディングページからメタデータを柔軟に抽出する大規模言語モデル(LLM)ベースのメタデータ抽出器を開発し,既存のメタデータ標準を用いてユーザ定義の統一フォーマットに変換する。 我々は,LLM後処理プロトコルを用いて,構造化メタデータと非構造化メタデータの両方を同等の精度で抽出できることを検証する。 さらに,組込み類似性を計算し,抽出したメタデータの形式を統一してルールベース処理を実現することにより,LLMを用いてデータセット間のリンクを識別する。 我々のツールは, 異なるデータセットのメタデータを柔軟にリンクするので, オントロジー生成やグラフベースのクエリに利用することができ, 仮想研究環境において, 関連する生態学的および環境的データセットを見つけることができる。

関連論文リスト

• MOLE: Metadata Extraction and Validation in Scientific Papers Using LLMs [54.5729817345543]
  MOLEは、アラビア語以外の言語のデータセットをカバーする科学論文からメタデータ属性を自動的に抽出するフレームワークである。 本手法では,複数の入力形式にまたがって文書全体を処理し,一貫した出力に対する堅牢な検証機構を組み込む。
  論文  参考訳（メタデータ） (2025-05-26T10:31:26Z)
• Making Sense of Data in the Wild: Data Analysis Automation at Scale [0.1747623282473278]
  本稿では,インテリジェントエージェントと検索拡張生成を組み合わせることで,データ解析,データセットキュレーション,インデックス作成を大規模に自動化する手法を提案する。 提案手法により,より詳細なデータセット記述,より高いヒット率,データセット検索タスクの多様性が得られた。
  論文  参考訳（メタデータ） (2025-01-27T10:04:10Z)
• Harmonizing Metadata of Language Resources for Enhanced Querying and Accessibility [0.0]
  本稿では,言語資源の多種多様なリポジトリ(LR)からのメタデータの調和について述べる。 我々の手法は,新たに開発されたポータルであるLinghubを通じて,テキストベースの検索,ファステッドブラウジング,高度なSPARQLクエリをサポートする。 この研究は、メタデータの調和を高めるために、重要なメタデータの問題とオープンな語彙と標準に固執することを提唱する。
  論文  参考訳（メタデータ） (2025-01-09T22:48:43Z)
• Metadata-based Data Exploration with Retrieval-Augmented Generation for Large Language Models [3.7685718201378746]
  本研究では、メタデータに基づくデータ発見を強化するために、レトリーバル拡張生成(RAG)という形式を用いた新しいデータ探索アーキテクチャを提案する。 提案フレームワークは異種データソース間の意味的類似性を評価するための新しい手法を提供する。
  論文  参考訳（メタデータ） (2024-10-05T17:11:37Z)
• Putting Data at the Centre of Offline Multi-Agent Reinforcement Learning [3.623224034411137]
  オフラインマルチエージェント強化学習(英語: offline multi-agent reinforcement learning, MARL)は、静的データセットを用いてマルチエージェントシステムの最適制御ポリシーを見つける研究のエキサイティングな方向である。 この分野は定義上はデータ駆動型だが、これまでのところ、最先端の結果を達成するための努力は、データを無視してきた。 研究の大部分は、一貫した方法論を使わずに独自のデータセットを生成し、これらのデータセットの特徴に関するまばらな情報を提供する。
  論文  参考訳（メタデータ） (2024-09-18T14:13:24Z)
• Diffusion Models as Data Mining Tools [87.77999285241219]
  本稿では、画像合成のために訓練された生成モデルを視覚データマイニングのツールとして利用する方法について述べる。 特定のデータセットから画像を合成するために条件拡散モデルを微調整した後、これらのモデルを用いて典型性尺度を定義することができることを示す。 この尺度は、地理的位置、タイムスタンプ、セマンティックラベル、さらには病気の存在など、異なるデータラベルに対する典型的な視覚的要素がどのように存在するかを評価する。
  論文  参考訳（メタデータ） (2024-07-20T17:14:31Z)
• Making Metadata More FAIR Using Large Language Models [2.61630828688114]
  この作業では、メタデータを比較するFAIRMetaTextと呼ばれる自然言語処理(NLP)情報を提供する。 特に、FAIRMetaTextはメタデータの自然言語記述を分析し、2項間の数学的類似度尺度を提供する。 このソフトウェアは、同じトピックに関するいくつかの実験データセットを使用しながら、さまざまな自然言語メタデータを精査する際の人的労力を大幅に削減することができる。
  論文  参考訳（メタデータ） (2023-07-24T19:14:38Z)
• infoVerse: A Universal Framework for Dataset Characterization with Multidimensional Meta-information [68.76707843019886]
  infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。 infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。 実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2023-05-30T18:12:48Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• Metadata Representations for Queryable ML Model Zoos [73.24799582702326]
  機械学習(ML)の実践者や組織は、事前訓練されたモデルのモデル動物園を構築しており、モデルの性質を記述するメタデータを含んでいる。 メタタダは現在標準化されておらず、表現力は限られている。 本稿では,MLモデルのメタデータ表現と管理の標準化を提唱し,そのメタデータの管理とクエリを支援するツールキットを提案する。
  論文  参考訳（メタデータ） (2022-07-19T15:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。