論文の概要: Automated Metadata Harmonization Using Entity Resolution & Contextual Embedding

• arxiv url: http://arxiv.org/abs/2010.11827v2
• Date: Tue, 1 Dec 2020 16:23:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 12:23:56.584586
• Title: Automated Metadata Harmonization Using Entity Resolution & Contextual Embedding
• Title（参考訳）: エンティティ解決とコンテキスト埋め込みを用いたメタデータの自動調和
• Authors: Kunal Sawarkar, Meenkakshi Kodati
• Abstract要約: 我々は、Cogntive DatabaseのDb2Vec埋め込みアプローチの助けを借りて、このステップの自動化を実演する。 一致したスキーマとは別に、ターゲットデータモデルの正しい存在論的構造も推測できることを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ML Data Curation process typically consist of heterogeneous & federated source systems with varied schema structures; requiring curation process to standardize metadata from different schemas to an inter-operable schema. This manual process of Metadata Harmonization & cataloging slows efficiency of ML-Ops lifecycle. We demonstrate automation of this step with the help of entity resolution methods & also by using Cogntive Database's Db2Vec embedding approach to capture hidden inter-column & intra-column relationships which detect similarity of metadata and then predict metadata columns from source schemas to any standardized schemas. Apart from matching schemas, we demonstrate that it can also infer the correct ontological structure of the target data model.
• Abstract（参考訳）: mlデータキュレーションプロセスは通常、さまざまなスキーマ構造を持つヘテロジニアスおよびフェデレーションされたソースシステムで構成され、異なるスキーマからのメタデータを相互運用可能なスキーマに標準化するためのキュレーションプロセスを必要とする。 このMetadata Harmonization & catalogingのマニュアルプロセスは、ML-Opsライフサイクルの効率を遅くする。 メタデータの類似性を検知し、ソーススキーマから任意の標準スキーマへのメタデータ列の予測を行う、隠れたカラム間およびカラム内関係をキャプチャするために、entity resolutionメソッドとcogntive databaseのdb2vec埋め込みアプローチの助けを借りて、このステップの自動化を実証する。 一致したスキーマとは別に、ターゲットデータモデルの正しい存在論的構造も推測できることを実証する。

関連論文リスト

• Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
  本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。 Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。 実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-10-31T16:34:03Z)
• Compound Schema Registry [0.0]
  本稿では,複合AIシステムによって促進される一般化スキーマ進化(GSE)の利用を提案する。 このシステムは、スキーマ変更のセマンティクスを解釈するために、LLM(Large Language Models)を使用する。 我々のアプローチには、中間表現としてスキーママッピングを生成するためのタスク固有言語である変換言語(STL)の開発が含まれる。
  論文  参考訳（メタデータ） (2024-06-17T05:50:46Z)
• ReMatch: Retrieval Enhanced Schema Matching with LLMs [0.874967598360817]
  本稿では,検索強化大言語モデル(LLM)を用いたスキーママッチングのためのReMatchという新しい手法を提案する。 大規模な実世界のスキーマに対する実験結果から,ReMatchが効果的なマーカであることが示された。
  論文  参考訳（メタデータ） (2024-03-03T17:14:40Z)
• Schema-adaptable Knowledge Graph Construction [47.772335354080795]
  従来の知識グラフ構築(KGC)アプローチは、通常、事前定義されたスキーマの閉じたセットで静的情報抽出パラダイムに従う。 我々は,スキーマ適応型KGCと呼ばれる新しいタスクを提案する。このタスクは,動的に変化するスキーマグラフに基づいて,再学習せずにエンティティ,リレーション,イベントを継続的に抽出することを目的としている。
  論文  参考訳（メタデータ） (2023-05-15T15:06:20Z)
• Universal Information Extraction as Unified Semantic Matching [54.19974454019611]
  情報抽出を,異なるタスクやスキーマで共有される構造化と概念化という,2つの能力に分割する。 このパラダイムに基づいて、統一意味マッチングフレームワークを用いて様々なIEタスクを普遍的にモデル化することを提案する。 このように、USMはスキーマと入力テキストを共同でエンコードし、サブ構造を一様に並列に抽出し、必要に応じてターゲット構造を制御できる。
  論文  参考訳（メタデータ） (2023-01-09T11:51:31Z)
• Metadata Representations for Queryable ML Model Zoos [73.24799582702326]
  機械学習(ML)の実践者や組織は、事前訓練されたモデルのモデル動物園を構築しており、モデルの性質を記述するメタデータを含んでいる。 メタタダは現在標準化されておらず、表現力は限られている。 本稿では,MLモデルのメタデータ表現と管理の標準化を提唱し,そのメタデータの管理とクエリを支援するツールキットを提案する。
  論文  参考訳（メタデータ） (2022-07-19T15:04:14Z)
• Proton: Probing Schema Linking Information from Pre-trained Language Models for Text-to-SQL Parsing [66.55478402233399]
  本稿では,ポアンカー距離測定に基づく探索手法を用いて,関係構造を抽出する枠組みを提案する。 スキーマリンクの一般的なルールベース手法と比較して,探索関係は意味的対応をしっかりと捉えることができることがわかった。 我々のフレームワークは3つのベンチマークで最先端のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-06-28T14:05:25Z)
• It's AI Match: A Two-Step Approach for Schema Matching Using Embeddings [10.732163031244646]
  ニューラル埋め込みに基づくスキーママッチングのための新しいエンドツーエンドアプローチを提案する。 以上の結果から,我々の手法は,堅牢かつ信頼性の高い方法で対応を決定可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-03-08T19:42:28Z)
• Mapping Patterns for Virtual Knowledge Graphs [71.61234136161742]
  仮想知識グラフ(VKG)は、レガシーデータソースの統合とアクセスのための最も有望なパラダイムの1つである。 データ管理、データ分析、概念モデリングにおいて研究された、確立された方法論とパターンに基づいて構築する。 検討されたVKGシナリオに基づいて,私たちのカタログを検証し,そのパターンの大部分をカバーすることを示す。
  論文  参考訳（メタデータ） (2020-12-03T13:54:52Z)
• Survive the Schema Changes: Integration of Unmanaged Data Using Deep Learning [2.6464841907587004]
  本稿では,深層学習を用いて,スーパーセル表現と摂動の自動注入によるスキーマ変更の自動処理を提案する。 実験の結果,提案手法は実世界の2つのデータ統合シナリオに有効であることが示された。
  論文  参考訳（メタデータ） (2020-10-15T08:10:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。