論文の概要: Efficient Discovery of Conditional Dependencies with Desbordante

• arxiv url: http://arxiv.org/abs/2607.04030v1
• Date: Sat, 04 Jul 2026 21:15:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.801245
• Title: Efficient Discovery of Conditional Dependencies with Desbordante
• Title（参考訳）: Desbordanteによる条件依存の効率的な発見
• Abstract要約: 条件付き機能依存(CFD)は、制限されたスコープを持つ機能依存である。 我々は、最先端のCFDFinderアルゴリズムを構築し、並列化戦略を含むアルゴリズムおよび工学的改善のセットを導入する。 私たちの実装は、C++で記述された高性能なオープンソースデータプロファイラであるDesbordanteに統合されています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Conditional functional dependencies (CFDs) are functional dependencies with a restricted scope: they specify the context in which a dependency holds and are useful for data-quality tasks, specifying complex integrity constraints, and extracting valuable insights from data. We study the CFD discovery problem, which is computationally demanding. We build on the state-of-the-art CFDFinder algorithm and introduce a set of algorithmic and engineering improvements, including a parallelization strategy, to produce ParCFDFinder. Our implementation is integrated into Desbordante - a high-performance open-source data profiler written in C++ that exposes a Python interface, enabling CFD discovery to be invoked from any Python program. Experimental results show that our enhancements speed up the algorithm by up to $318\times$ ($118\times$ on average) and reduce memory usage by up to $23\times$ ($14\times$ on average) compared with the existing Java-based implementation of Metanome. Integrating ParCFDFinder into Desbordante makes it possible, for the first time, to conveniently discover CFDs on datasets with hundreds of thousands of rows on a commodity machine within a reasonable time.
• Abstract（参考訳）: 条件付き機能的依存関係(CFD)は、制限されたスコープを持つ機能的依存関係である。 依存関係が保持され、データ品質のタスクに有用なコンテキストを指定し、複雑な整合性制約を指定し、データから貴重な洞察を抽出する。 計算的に要求されるCFD発見問題について検討する。 我々は、最先端のCFDFinderアルゴリズムに基づいて、並列化戦略を含む一連のアルゴリズムおよび工学的改善を導入し、ParCFDFinderを生成する。 当社の実装は,C++で記述された高性能なオープンソースデータプロファイラであるDesbordanteに統合されている。 実験の結果、既存のJavaベースのMetanome実装と比較して、アルゴリズムを最大で318\times$(平均で118\times$)スピードアップし、メモリ使用量を最大で23\times$(平均で14\times$)スピードアップしました。 ParCFDFinderをDesbordanteに統合することで、コモディティマシン上で数十万行のデータセット上のCFDを、合理的な時間で便利に検出できるようになる。

関連論文リスト

• Fast Discovery of Inclusion Dependencies with Desbordante [36.993555985790614]
  本稿では,スパイダーとファイダの2つのアルゴリズムを効率的に実装する手法について述べる。 本稿では,メモリ消費を同時に削減しつつアルゴリズムを大幅に高速化する,効率的な並列化手法を提案する。 本報告では, スパイダーの実行時間短縮率を最大5倍, ファイダの最大8倍に改善した。
  論文  参考訳（メタデータ） (2026-08-03T13:35:33Z)
• Lightning Fast Matching Dependency Discovery with Desbordante [0.0]
  本稿では,HyMDの最適化手法について述べる。 中でも最も重要なものは,1)新しいサンプリング手法,2)より高速な一般化検索手法,3)依存性の表現の改善である。 実験により、平均的な最先端の実装よりも40倍以上のスピードアップが可能であり、場合によっては170倍以上のスピードアップに達することが実証された。
  論文  参考訳（メタデータ） (2026-07-12T13:59:54Z)
• Redundancy-Driven Top-$k$ Functional Dependency Discovery [5.126404609788543]
  関数依存(FD)は関係データベースの基本的制約であり、多くのデータ管理タスクに使用される。 ほとんどのFD発見アルゴリズムは、すべての有効な依存関係を見つけるが、2つの問題を引き起こす。 SDP(Selective-Discovery-and-Prune)を提案する。
  論文  参考訳（メタデータ） (2026-01-15T07:16:01Z)
• SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
  セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。 本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。 ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-01-05T21:02:49Z)
• Efficient Conformance Checking of Rich Data-Aware Declare Specifications (Extended) [49.46686813437884]
  一般的なデータ型やデータ条件とリッチな設定で,データを考慮した最適アライメントを計算可能であることを示す。 これは、制御フローとデータ依存関係を扱うために、よく知られた2つのアプローチを慎重に組み合わせることで達成される。
  論文  参考訳（メタデータ） (2025-06-30T10:16:21Z)
• OpenMLDB: A Real-Time Relational Data Feature Computation System for Online ML [35.15348680407141]
  本稿では,4ParadigmのSageOneプラットフォームにデプロイされた機能計算システムであるOpenMLDBを提案する。 技術的には、OpenMLDBは最初、オフラインおよびオンラインステージにわたる一貫した計算結果に統一的なクエリプランジェネレータを使用する。 OpenMLDBは、長いウィンドウ計算によるパフォーマンスボトルネックを解決するオンライン実行エンジンを提供する。
  論文  参考訳（メタデータ） (2025-01-15T05:20:01Z)
• Data-Juicer 2.0: Cloud-Scale Adaptive Data Processing for and with Foundation Models [83.65386456026441]
  Data-Juicer 2.0は、テキスト、画像、ビデオ、オーディオのモダリティにまたがる100以上のデータ処理オペレータがバックアップするデータ処理システムである。 データ分析、合成、アノテーション、基礎モデルのポストトレーニングなど、より重要なタスクをサポートする。 このシステムは公開されており、さまざまな研究分野やAlibaba Cloud PAIのような現実世界の製品で広く採用されている。
  論文  参考訳（メタデータ） (2024-12-23T08:29:57Z)
• CrackSCF: Lightweight Cascaded Fusion Network for Robust and Efficient Structural Crack Segmentation [36.93774494071781]
  CrackSCFは、堅牢なクラックセグメンテーションを実現するために設計された軽量なカスケード核融合クラックネットワークである。 このアプローチは、最小の計算フットプリントで動作しながら、ローカルパターンを効率的にキャプチャする。 実験結果から,CrackSCF法は既存の手法よりも一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-23T03:21:51Z)
• TrueDeep: A systematic approach of crack detection with less data [0.0]
  ドメイン知識をディープラーニングアーキテクチャと組み合わせることで、少ないデータで同様のパフォーマンスを実現することができることを示す。 我々のアルゴリズムは、全データの23%で開発され、テストデータ上でも同様の性能を持ち、複数の盲点データセット上では大幅に性能が向上した。
  論文  参考訳（メタデータ） (2023-05-30T14:51:58Z)
• Going beyond research datasets: Novel intent discovery in the industry setting [60.90117614762879]
  本稿では,大規模なeコマースプラットフォームに展開する意図発見パイプラインを改善する手法を提案する。 ドメイン内データに基づく事前学習型言語モデルの利点を示す。 また,クラスタリングタスクの微調整中に,実生活データセットの会話構造(質問と回答)を利用するための最善の方法も考案した。
  論文  参考訳（メタデータ） (2023-05-09T14:21:29Z)
• Efficient Wind Speed Nowcasting with GPU-Accelerated Nearest Neighbors Algorithm [0.0]
  本稿では, 簡易かつ効率的な高高度風速流路を提案する。 空域全体にわたって航空機が記録した大量のライブデータを効率的に処理する。 データセットの各ポイントごとにユニークなコンテキストを生成し、そこから外挿する。
  論文  参考訳（メタデータ） (2021-12-20T09:15:27Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• New advances in enumerative biclustering algorithms with online partitioning [80.22629846165306]
  さらに、数値データセットの列に定数値を持つ最大二クラスタの効率的で完全で正しい非冗長列挙を実現できる二クラスタリングアルゴリズムであるRIn-Close_CVCを拡張した。 改良されたアルゴリズムはRIn-Close_CVC3と呼ばれ、RIn-Close_CVCの魅力的な特性を保ちます。
  論文  参考訳（メタデータ） (2020-03-07T14:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。