論文の概要: Extending Desbordante with Probabilistic Functional Dependency Discovery Support
- arxiv url: http://arxiv.org/abs/2607.23636v1
- Date: Sun, 26 Jul 2026 13:01:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.176331
- Title: Extending Desbordante with Probabilistic Functional Dependency Discovery Support
- Title（参考訳）: 確率的機能依存発見支援によるデスボルダントの拡張
- Abstract要約: Desbordante内での確率的機能依存のサポートを目標としています。
本稿では,pFDを解析的にも実験的にも検討する。
我々は,pFD発見のためのアルゴリズムを実装し,その実行時間とメモリ消費について検討する。
- 参考スコア（独自算出の注目度）: 0.05219568203653524
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Data profiling aims to extract complex patterns from data for further analysis and use that data in domains such as data cleaning, data deduplication, anomaly detection, and many more. Functional dependencies (FDs) are one of the most well-known patterns. However, they are poorly suited for these tasks, as real data is usually dirty, and the rigid definition of FDs does not allow algorithms to locate them. For this reason, there are several formulations aimed at relaxing FDs to support dirty data, with approximate functional dependency (AFD) being the most popular one. Another formulation is the Probabilistic Functional Dependency (pFD), which we aim to support inside Desbordante - a science-intensive, high-performance and open-source data profiling tool implemented in C++. However, pFDs are relatively poorly studied, compared to AFDs. In this paper we study pFDs, both analytically and empirically. We start by assessing how different pFDs and AFDs are by studying cases in which pFDs have an edge over AFDs. Then, we implement the algorithm for pFD discovery, as well as study its run time and memory consumption. We also compare it with an AFD discovery algorithm. Lastly, we study the output of both algorithms to learn whether or not it is possible to use AFD discovery algorithm to get pFDs and vice versa.
- Abstract（参考訳）: データプロファイリングは、データから複雑なパターンを抽出してさらなる分析を行い、データクリーニング、データ重複、異常検出など多くの領域でそのデータを使用することを目的としている。
関数依存(FD)は最もよく知られたパターンの1つである。
しかし、実際のデータは通常汚れており、FDの厳密な定義はアルゴリズムがそれらを見つけることを許さないため、これらのタスクには適していない。
このため、汚いデータをサポートするためにFDを緩和することを目的としたいくつかの定式化があり、最も一般的な関数依存(AFD)がある。
もうひとつの定式化としては、確率関数依存性(pFD)がある。これは、C++で実装された科学集約的で高性能でオープンソースのデータプロファイリングツールであるDesbordanteの内部でサポートすることを目的としています。
しかし、pFDsはAFDsと比較して研究が不十分である。
本稿では,pFDを解析的にも実験的にも検討する。
まず、pFDとAFDの相違について、pFDがAFDの相違点を持つケースについて検討することから始める。
次に,pFD検出のためのアルゴリズムを実装し,その実行時間とメモリ消費について検討する。
また、AFD発見アルゴリズムと比較する。
最後に,両アルゴリズムの出力について検討し,pFDを得るのにAFD発見アルゴリズムが使えるかどうかを学習する。
関連論文リスト
- Efficient Discovery of Conditional Dependencies with Desbordante [0.0]
条件付き機能依存(CFD)は、制限されたスコープを持つ機能依存である。
我々は、最先端のCFDFinderアルゴリズムを構築し、並列化戦略を含むアルゴリズムおよび工学的改善のセットを導入する。
私たちの実装は、C++で記述された高性能なオープンソースデータプロファイラであるDesbordanteに統合されています。
論文 参考訳（メタデータ） (2026-07-04T21:15:59Z) - VRAG-DFD: Verifiable Retrieval-Augmentation for MLLM-based Deepfake Detection [49.88962095967614]
本稿では,正確な動的偽情報検索と強力なクリティカル推論機能を備えたVRAG-DFDフレームワークを提案する。
データに関しては、DFD知識アノテーションのためのForensic Knowledge Database(FKD)と、重要なCoT構築のためのForensic Chain-of-Thoughtデータセット(F-CoT)の2つのデータセットを構築した。
性能面では、VRAG-DFD は SOTA と DFD の一般化テストにおける競合性能を達成した。
論文 参考訳（メタデータ） (2026-04-15T09:27:49Z) - FDIF: Formula-Driven supervised Learning with Implicit Functions for 3D Medical Image Segmentation [15.58096401866496]
ディープラーニングに基づく3D医療画像セグメンテーション手法は、大規模ラベル付きデータセットに依存している。
フォーミュラ駆動型スーパービジョン学習法は, 数式から直接トレーニングデータとラベルを生成することで, 魅力的な代替手段を提供する。
実データや医療専門家のアノテーションを使わずに、スケーラブルな事前学習を可能にするフレームワークである、Implicit Functions (FDIF) を用いたフォーミュラ駆動型教師あり学習を紹介する。
論文 参考訳（メタデータ） (2026-03-24T13:45:39Z) - Redundancy-Driven Top-$k$ Functional Dependency Discovery [5.126404609788543]
関数依存(FD)は関係データベースの基本的制約であり、多くのデータ管理タスクに使用される。
ほとんどのFD発見アルゴリズムは、すべての有効な依存関係を見つけるが、2つの問題を引き起こす。
SDP(Selective-Discovery-and-Prune)を提案する。
論文 参考訳（メタデータ） (2026-01-15T07:16:01Z) - Efficiently Computing Similarities to Private Datasets [19.99000806126529]
微分プライベートモデルトレーニングの多くの方法は、クエリポイント(公開データや合成データなど)とプライベートデータとの類似性を計算することに依存している。
類似関数$f$と大きな高次元プライベートデータセット$XサブセットmathbbRd$を与えられた場合、任意のクエリ$y$に対して、X f(x,y)$のsum_xを近似した差分プライベート(DP)データ構造を出力する。
論文 参考訳（メタデータ） (2024-03-13T19:19:19Z) - Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。
これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。
モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
論文 参考訳（メタデータ） (2024-03-11T15:48:56Z) - Federated Causal Discovery from Heterogeneous Data [70.31070224690399]
任意の因果モデルと異種データに対応する新しいFCD法を提案する。
これらのアプローチには、データのプライバシを保護するために、生データのプロキシとして要約統計を構築することが含まれる。
提案手法の有効性を示すために, 合成および実データを用いた広範囲な実験を行った。
論文 参考訳（メタデータ） (2024-02-20T18:53:53Z) - Time-Series Forecasting: Unleashing Long-Term Dependencies with
Fractionally Differenced Data [0.0]
本研究では,分数差分(FD)のパワーを活用した新しい予測手法を提案する。
FDはメモリを連続的に保存し、モデリングのために安定化する。
教師付き分類アルゴリズムを用いてFDシリーズの性能を検証した。
論文 参考訳（メタデータ） (2023-09-23T15:42:54Z) - Score-based Diffusion Models in Function Space [137.70916238028306]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳（メタデータ） (2023-02-14T23:50:53Z) - Measuring dissimilarity with diffeomorphism invariance [94.02751799024684]
DID(DID)は、幅広いデータ空間に適用可能なペアワイズな相似性尺度である。
我々は、DIDが理論的研究と実用に関係のある特性を享受していることを証明する。
論文 参考訳（メタデータ） (2022-02-11T13:51:30Z) - Federated Doubly Stochastic Kernel Learning for Vertically Partitioned
Data [93.76907759950608]
本稿では,垂直分割データに対する2倍のカーネル学習アルゴリズムを提案する。
本稿では,FDSKLがカーネルを扱う場合,最先端のフェデレーション学習手法よりもはるかに高速であることを示す。
論文 参考訳（メタデータ） (2020-08-14T05:46:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。