Fugu-MT 論文翻訳(概要): DatAasee -- A Metadata-Lake as Metadata Catalog for a Virtual Data-Lake

論文の概要: DatAasee -- A Metadata-Lake as Metadata Catalog for a Virtual Data-Lake

arxiv url: http://arxiv.org/abs/2409.05512v1
Date: Mon, 09 Sep 2024 11:10:45 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-10 15:56:17.760897
Title: DatAasee -- A Metadata-Lake as Metadata Catalog for a Virtual Data-Lake
Title（参考訳）: DatAasee - 仮想データレイクのためのメタデータカタログ
Authors: Christian Himpe,
Abstract要約: この作業は、データレイク(メタデータレイク)から派生したデータアーキテクチャを構築する。提案するメタデータシステムの概念実証実装も提案し,評価した。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Metadata management for distributed data sources is a long-standing but ever-growing problem. To counter this challenge in a research-data and library-oriented setting, this work constructs a data architecture, derived from the data-lake: the metadata-lake. A proof-of-concept implementation of this proposed metadata system is presented and evaluated as well.
Abstract（参考訳）: 分散データソースのメタデータ管理は、長続きするが、絶え間ない問題である。研究データおよびライブラリ指向の環境でこの問題に対処するため、この研究は、データレイクから派生したデータアーキテクチャ、メタデータレイクを構築する。提案するメタデータシステムの概念実証実装も提案し,評価した。

関連論文リスト

Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models [79.65071553905021]
所望のデータセットの特徴を考慮したデータ生成手法であるデータアドバイザを提案する。 Data Advisorは生成されたデータの状態を監視し、現在のデータセットの弱点を特定し、データ生成の次のイテレーションをアドバイスする。
論文参考訳（メタデータ） (2024-10-07T17:59:58Z)
Putting Data at the Centre of Offline Multi-Agent Reinforcement Learning [3.623224034411137]
オフラインマルチエージェント強化学習(英語: offline multi-agent reinforcement learning, MARL)は、静的データセットを用いてマルチエージェントシステムの最適制御ポリシーを見つける研究のエキサイティングな方向である。この分野は定義上はデータ駆動型だが、これまでのところ、最先端の結果を達成するための努力は、データを無視してきた。研究の大部分は、一貫した方法論を使わずに独自のデータセットを生成し、これらのデータセットの特徴に関するまばらな情報を提供する。
論文参考訳（メタデータ） (2024-09-18T14:13:24Z)
An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。提案されたフレームワークは使いやすく、柔軟です。
論文参考訳（メタデータ） (2024-02-26T07:22:51Z)
Semantic Data Management in Data Lakes [0.0]
近年では、現代のデータ分析のために大量の異種データを管理するために、データレイクが遠くに現れた。データレイクが運用不能なデータ湿地になるのを防ぐ方法の1つは、セマンティックデータ管理である。我々は,そのアプローチを (i) 基本的な意味データ管理, (ii) データレイクにおけるメタデータの充実のためのセマンティックモデリングアプローチ, (iii) オントロジーに基づくデータアクセスのための手法に分類する。
論文参考訳（メタデータ） (2023-10-23T21:16:50Z)
Dataset Factory: A Toolchain For Generative Computer Vision Datasets [0.9013233848500058]
メタデータからサンプルの保存と処理を分離する「データセットファクトリ」を提案する。これにより、機械学習チームや個々の研究者に対して、大規模にデータ中心の操作が可能になる。
論文参考訳（メタデータ） (2023-09-20T19:43:37Z)
Modeling Data Analytics Architecture for Smart Cities Data-Driven Applications using DAT [1.8945921149936187]
この記事では、DATを利用したデータ駆動スマートシティアプリケーションのためのモデル駆動エンジニアリングを使用したデータ分析アーキテクチャ(DAA)の開発経験について紹介します。 DAAは、DATを利用したデータ駆動スマートシティアプリケーションにモデル駆動エンジニアリングを使用する。
論文参考訳（メタデータ） (2023-07-17T21:52:57Z)
infoVerse: A Universal Framework for Dataset Characterization with Multidimensional Meta-information [68.76707843019886]
infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。 infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
論文参考訳（メタデータ） (2023-05-30T18:12:48Z)
TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文参考訳（メタデータ） (2022-08-16T20:46:08Z)
Metadata Representations for Queryable ML Model Zoos [73.24799582702326]
機械学習(ML)の実践者や組織は、事前訓練されたモデルのモデル動物園を構築しており、モデルの性質を記述するメタデータを含んでいる。メタタダは現在標準化されておらず、表現力は限られている。本稿では,MLモデルのメタデータ表現と管理の標準化を提唱し,そのメタデータの管理とクエリを支援するツールキットを提案する。
論文参考訳（メタデータ） (2022-07-19T15:04:14Z)
Datasets: A Community Library for Natural Language Processing [55.48866401721244]
データセットは、現代のNLPのためのコミュニティライブラリである。このライブラリには650以上のユニークなデータセットが含まれており、250以上のコントリビュータを抱えており、さまざまな新しいクロスデータセット研究プロジェクトを支援している。
論文参考訳（メタデータ） (2021-09-07T03:59:22Z)
A Big Data Lake for Multilevel Streaming Analytics [0.4640835690336652]
本稿では,データレイクと呼ばれるデータストレージアーキテクチャにおいて,高ボリューム,速度,多種多様なデータを生の形式で保存することに焦点を当てる。データレイクの開発に使用できるさまざまなオープンソースと商用プラットフォームについて議論し、比較する。データストリームの取り込み、ステージング、マルチレベルストリーミング分析のための実世界のデータレイク開発ユースケースを提案する。
論文参考訳（メタデータ） (2020-09-25T19:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。