論文の概要: MDB: Interactively Querying Datasets and Models
- arxiv url: http://arxiv.org/abs/2308.06686v1
- Date: Sun, 13 Aug 2023 05:22:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 16:04:25.128862
- Title: MDB: Interactively Querying Datasets and Models
- Title(参考訳): MDB: データセットとモデルを相互にクエリする
- Authors: Aaditya Naik, Adam Stein, Yinjun Wu, Eric Wong, Mayur Naik
- Abstract要約: MDBは、データセットとモデルをインタラクティブにクエリするフレームワークである。
MDBは関数型プログラミングと代数を統合して表現型クエリを構築する。
MDBは、他のベースラインよりも最大10倍高速で、40%短いクエリを可能にします。
- 参考スコア(独自算出の注目度): 22.48732201553164
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As models are trained and deployed, developers need to be able to
systematically debug errors that emerge in the machine learning pipeline. We
present MDB, a debugging framework for interactively querying datasets and
models. MDB integrates functional programming with relational algebra to build
expressive queries over a database of datasets and model predictions. Queries
are reusable and easily modified, enabling debuggers to rapidly iterate and
refine queries to discover and characterize errors and model behaviors. We
evaluate MDB on object detection, bias discovery, image classification, and
data imputation tasks across self-driving videos, large language models, and
medical records. Our experiments show that MDB enables up to 10x faster and
40\% shorter queries than other baselines. In a user study, we find developers
can successfully construct complex queries that describe errors of machine
learning models.
- Abstract(参考訳): モデルがトレーニングされ、デプロイされるため、開発者は機械学習パイプラインに現れるエラーを体系的にデバッグする必要がある。
データセットとモデルをインタラクティブにクエリするデバッグフレームワークであるmdbを提案する。
MDBは関数プログラミングとリレーショナル代数を統合し、データセットとモデル予測のデータベース上で表現力のあるクエリを構築する。
クエリは再利用可能で容易に修正できるため、デバッガはクエリをすばやく繰り返し、洗練し、エラーやモデル動作を発見して特徴付けることができる。
我々は、オブジェクト検出、バイアス発見、画像分類、および自動運転ビデオ、大規模言語モデル、医療記録におけるデータ計算タスクに関するMDBを評価する。
実験の結果,mdbは他のベースラインよりも最大10倍高速で40\%短いクエリが可能となった。
ユーザスタディでは、開発者は機械学習モデルのエラーを記述する複雑なクエリをうまく構築できることがわかった。
関連論文リスト
- ProbGate at EHRSQL 2024: Enhancing SQL Query Generation Accuracy through Probabilistic Threshold Filtering and Error Handling [0.0]
本稿では, エントロピーに基づく不確定な結果の抽出とフィルタリングを行う手法を提案する。
我々は,提案手法が解答不能な質問をフィルタリングできることを実験的に検証した。
論文 参考訳(メタデータ) (2024-04-25T14:55:07Z) - NL2KQL: From Natural Language to Kusto Query [1.7931930942711818]
NL2KQLは、大規模言語モデル(LLM)を使用して自然言語クエリ(NLQ)をKusto Query Language(KQL)クエリに変換する革新的なフレームワークである。
NL2KQLのパフォーマンスを検証するために、オンライン(クエリ実行に基づく)とオフライン(クエリ解析に基づく)メトリクスの配列を使用します。
論文 参考訳(メタデータ) (2024-04-03T01:09:41Z) - Meta Operator for Complex Query Answering on Knowledge Graphs [58.340159346749964]
我々は、異なる複雑なクエリタイプではなく、異なる論理演算子型が一般化性を向上させる鍵であると主張する。
本稿では,メタ演算子を限られたデータで学習し,様々な複雑なクエリの演算子のインスタンスに適応するメタ学習アルゴリズムを提案する。
実験結果から,メタオペレータの学習は,従来のCQAモデルやメタCQAモデルよりも効果的であることが示唆された。
論文 参考訳(メタデータ) (2024-03-15T08:54:25Z) - SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot
Neural Sparse Retrieval [92.27387459751309]
ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。
我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。
SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
論文 参考訳(メタデータ) (2023-07-19T22:48:02Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳(メタデータ) (2023-05-24T06:16:44Z) - Transactional Python for Durable Machine Learning: Vision, Challenges,
and Feasibility [5.669983975369642]
Pythonアプリケーションは、トレーニングされたモデルや抽出された機能などの重要なデータを失う可能性がある。
本稿では,ユーザプログラムやPythonカーネルにコード修正を加えることなくDARTを提供するトランザクショナルPythonのビジョンについて述べる。
公開PyTorchおよびScikit-learnアプリケーションによる概念実証実装の評価は、DARTが1.5%~15.6%のオーバーヘッドで提供可能であることを示している。
論文 参考訳(メタデータ) (2023-05-15T16:27:09Z) - SPARQLing Database Queries from Intermediate Question Decompositions [7.475027071883912]
自然言語の質問をデータベースクエリに変換するために、ほとんどのアプローチは、完全に注釈付けされたトレーニングセットに依存している。
データベースの中間問題表現を基盤として,この負担を軽減する。
我々のパイプラインは、自然言語質問を中間表現に変換するセマンティックと、訓練不能なトランスパイラをQLSPARクエリ言語に変換する2つの部分から構成される。
論文 参考訳(メタデータ) (2021-09-13T17:57:12Z) - pyWATTS: Python Workflow Automation Tool for Time Series [0.20315704654772418]
pyWATTSは時系列データ分析のための非シーケンスワークフロー自動化ツールである。
pyWATTSには、新しいメソッドや既存のメソッドのシームレスな統合を可能にする、明確に定義されたインターフェイスを持つモジュールが含まれている。
pyWATTSはScikit-learn、PyTorch、KerasといったPythonの機械学習ライブラリをサポートする。
論文 参考訳(メタデータ) (2021-06-18T14:50:11Z) - KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
知識集約型言語タスク(KILT)のベンチマークを示す。
KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。
共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
論文 参考訳(メタデータ) (2020-09-04T15:32:19Z) - Query Understanding via Intent Description Generation [75.64800976586771]
問合せ理解のためのQ2ID(Query-to-Intent-Description)タスクを提案する。
クエリとその記述を利用してドキュメントの関連性を計算する既存のランキングタスクとは異なり、Q2IDは自然言語のインテント記述を生成するための逆タスクである。
Q2IDタスクにおける複数の最先端生成モデルとの比較により,本モデルの有効性を実証する。
論文 参考訳(メタデータ) (2020-08-25T08:56:40Z) - PyODDS: An End-to-end Outlier Detection System with Automated Machine
Learning [55.32009000204512]
PyODDSは、データベースサポート付きアウトレイラ検出のための、エンドツーエンドのPythonシステムである。
具体的には,探索空間を外乱検出パイプラインで定義し,与えられた探索空間内で探索戦略を作成する。
また、データサイエンスや機械学習のバックグラウンドの有無に関わらず、統一されたインターフェイスと視覚化を提供する。
論文 参考訳(メタデータ) (2020-03-12T03:30:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。