論文の概要: MDB: Interactively Querying Datasets and Models

• arxiv url: http://arxiv.org/abs/2308.06686v1
• Date: Sun, 13 Aug 2023 05:22:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 16:04:25.128862
• Title: MDB: Interactively Querying Datasets and Models
• Title（参考訳）: MDB: データセットとモデルを相互にクエリする
• Authors: Aaditya Naik, Adam Stein, Yinjun Wu, Eric Wong, Mayur Naik
• Abstract要約: MDBは、データセットとモデルをインタラクティブにクエリするフレームワークである。 MDBは関数型プログラミングと代数を統合して表現型クエリを構築する。 MDBは、他のベースラインよりも最大10倍高速で、40%短いクエリを可能にします。
• 参考スコア（独自算出の注目度）: 22.48732201553164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As models are trained and deployed, developers need to be able to systematically debug errors that emerge in the machine learning pipeline. We present MDB, a debugging framework for interactively querying datasets and models. MDB integrates functional programming with relational algebra to build expressive queries over a database of datasets and model predictions. Queries are reusable and easily modified, enabling debuggers to rapidly iterate and refine queries to discover and characterize errors and model behaviors. We evaluate MDB on object detection, bias discovery, image classification, and data imputation tasks across self-driving videos, large language models, and medical records. Our experiments show that MDB enables up to 10x faster and 40\% shorter queries than other baselines. In a user study, we find developers can successfully construct complex queries that describe errors of machine learning models.
• Abstract（参考訳）: モデルがトレーニングされ、デプロイされるため、開発者は機械学習パイプラインに現れるエラーを体系的にデバッグする必要がある。 データセットとモデルをインタラクティブにクエリするデバッグフレームワークであるmdbを提案する。 MDBは関数プログラミングとリレーショナル代数を統合し、データセットとモデル予測のデータベース上で表現力のあるクエリを構築する。 クエリは再利用可能で容易に修正できるため、デバッガはクエリをすばやく繰り返し、洗練し、エラーやモデル動作を発見して特徴付けることができる。 我々は、オブジェクト検出、バイアス発見、画像分類、および自動運転ビデオ、大規模言語モデル、医療記録におけるデータ計算タスクに関するMDBを評価する。 実験の結果,mdbは他のベースラインよりも最大10倍高速で40\%短いクエリが可能となった。 ユーザスタディでは、開発者は機械学習モデルのエラーを記述する複雑なクエリをうまく構築できることがわかった。

関連論文リスト

• Context-Aware SQL Error Correction Using Few-Shot Learning -- A Novel Approach Based on NLQ, Error, and SQL Similarity [0.0]
  本稿では,誤り訂正 insql 生成のための新しい数ショット学習手法を提案する。 与えられた自然言語質問(NLQ)に対して最も適した少数ショット誤り訂正例を選択することにより、生成されたクエリの精度を向上させる。 オープンソースデータセットを用いた実験では、単純な誤り訂正法により、誤り訂正のない修正エラーが39.2%増加し、10%増加した。
  論文  参考訳（メタデータ） (2024-10-11T18:22:08Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  多くの複雑な実世界のクエリは、関連する文書を特定するために詳細な推論を必要とする。 BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• UQE: A Query Engine for Unstructured Databases [71.49289088592842]
  構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。 本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
  論文  参考訳（メタデータ） (2024-06-23T06:58:55Z)
• NL2KQL: From Natural Language to Kusto Query [1.7931930942711818]
  NL2KQLは、大規模言語モデル(LLM)を使用して自然言語クエリ(NLQ)をKusto Query Language(KQL)クエリに変換する革新的なフレームワークである。 NL2KQLのパフォーマンスを検証するために、オンライン(クエリ実行に基づく)とオフライン(クエリ解析に基づく)メトリクスの配列を使用します。
  論文  参考訳（メタデータ） (2024-04-03T01:09:41Z)
• SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
  ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T22:48:02Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Transactional Python for Durable Machine Learning: Vision, Challenges, and Feasibility [5.669983975369642]
  Pythonアプリケーションは、トレーニングされたモデルや抽出された機能などの重要なデータを失う可能性がある。 本稿では,ユーザプログラムやPythonカーネルにコード修正を加えることなくDARTを提供するトランザクショナルPythonのビジョンについて述べる。 公開PyTorchおよびScikit-learnアプリケーションによる概念実証実装の評価は、DARTが1.5%～15.6%のオーバーヘッドで提供可能であることを示している。
  論文  参考訳（メタデータ） (2023-05-15T16:27:09Z)
• SPARQLing Database Queries from Intermediate Question Decompositions [7.475027071883912]
  自然言語の質問をデータベースクエリに変換するために、ほとんどのアプローチは、完全に注釈付けされたトレーニングセットに依存している。 データベースの中間問題表現を基盤として,この負担を軽減する。 我々のパイプラインは、自然言語質問を中間表現に変換するセマンティックと、訓練不能なトランスパイラをQLSPARクエリ言語に変換する2つの部分から構成される。
  論文  参考訳（メタデータ） (2021-09-13T17:57:12Z)
• pyWATTS: Python Workflow Automation Tool for Time Series [0.20315704654772418]
  pyWATTSは時系列データ分析のための非シーケンスワークフロー自動化ツールである。 pyWATTSには、新しいメソッドや既存のメソッドのシームレスな統合を可能にする、明確に定義されたインターフェイスを持つモジュールが含まれている。 pyWATTSはScikit-learn、PyTorch、KerasといったPythonの機械学習ライブラリをサポートする。
  論文  参考訳（メタデータ） (2021-06-18T14:50:11Z)
• KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
  知識集約型言語タスク(KILT)のベンチマークを示す。 KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。 共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
  論文  参考訳（メタデータ） (2020-09-04T15:32:19Z)
• PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning [55.32009000204512]
  PyODDSは、データベースサポート付きアウトレイラ検出のための、エンドツーエンドのPythonシステムである。 具体的には,探索空間を外乱検出パイプラインで定義し,与えられた探索空間内で探索戦略を作成する。 また、データサイエンスや機械学習のバックグラウンドの有無に関わらず、統一されたインターフェイスと視覚化を提供する。
  論文  参考訳（メタデータ） (2020-03-12T03:30:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。