論文の概要: Complaint-driven Training Data Debugging for Query 2.0

• arxiv url: http://arxiv.org/abs/2004.05722v1
• Date: Sun, 12 Apr 2020 23:56:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 05:14:10.682467
• Title: Complaint-driven Training Data Debugging for Query 2.0
• Title（参考訳）: query 2.0のクレーム駆動トレーニングデータデバッグ
• Authors: Weiyuan Wu, Lampros Flokas, Eugene Wu, Jiannan Wang
• Abstract要約: 苦情駆動型トレーニングデータデバッグシステムであるRainを提案する。 Rainでは、クエリの中間出力または最終出力に関する苦情を指定できる。 本稿では、線形再学習ステップを必要とする影響関数に基づく2つの新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 19.755285494278983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the need for machine learning (ML) increases rapidly across all industry sectors, there is a significant interest among commercial database providers to support "Query 2.0", which integrates model inference into SQL queries. Debugging Query 2.0 is very challenging since an unexpected query result may be caused by the bugs in training data (e.g., wrong labels, corrupted features). In response, we propose Rain, a complaint-driven training data debugging system. Rain allows users to specify complaints over the query's intermediate or final output, and aims to return a minimum set of training examples so that if they were removed, the complaints would be resolved. To the best of our knowledge, we are the first to study this problem. A naive solution requires retraining an exponential number of ML models. We propose two novel heuristic approaches based on influence functions which both require linear retraining steps. We provide an in-depth analytical and empirical analysis of the two approaches and conduct extensive experiments to evaluate their effectiveness using four real-world datasets. Results show that Rain achieves the highest recall@k among all the baselines while still returns results interactively.
• Abstract（参考訳）: 機械学習(ML)の必要性がすべての業界で急速に増加する中、商用データベースプロバイダの間では、モデル推論をSQLクエリに統合する"クエリ2.0"のサポートに対する大きな関心がある。 Query 2.0のデバッグは、トレーニングデータ(間違ったラベル、破損した機能など)のバグによって予期せぬクエリ結果が引き起こされるため、非常に難しい。 そこで本研究では,苦情駆動型トレーニングデータデバッグシステムrainを提案する。 rainでは、クエリの中間出力または最終出力に対する苦情を指定でき、最小のトレーニング例セットを返すことで、削除された場合には苦情が解決される。 私たちの知る限りでは、私たちはこの問題を最初に研究している。 単純解法は指数関数的な数のMLモデルを再訓練する必要がある。 線形再学習ステップを必要とする影響関数に基づく2つの新しいヒューリスティックアプローチを提案する。 本研究では,2つのアプローチの詳細な分析および実証分析を行い,実世界の4つのデータセットを用いてその有効性を評価する。 その結果、rainはすべてのベースラインの中で最も高いrecall@kを達成し、インタラクティブに結果を返す。

関連論文リスト

• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Can we Retrieve Everything All at Once? ARM: An Alignment-Oriented LLM-based Retrieval Method [48.14236175156835]
  ARMは、データオブジェクト間の関係を探索することで、データ収集の組織とよりよく一致させることを目指している。 クエリ分解の精度は最大5.2 pt、エージェントRAG(ReAct)は最大15.9 ptである。 最大5.5 pt、19.3 ptのF1マッチスコアをこれらのアプローチと比較して達成する。
  論文  参考訳（メタデータ） (2025-01-30T18:07:19Z)
• On Enhancing Root Cause Analysis with SQL Summaries for Failures in Database Workload Replays at SAP HANA [3.3158239079459655]
  リプレイ時に発生する障害の根本原因分析を自動化するために,機械学習ベースのフレームワークを採用している。 トレーニングデータに見つからない新しい問題を扱うことは、機械学習アプローチの一般的な課題である。
  論文  参考訳（メタデータ） (2024-12-18T10:07:54Z)
• Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models [0.8399688944263842]
  大きな言語モデル(LLM)は、入力クエリから人間のようなテキストを理解し、生成する能力を持つ。 本研究では、この概念を、レトリーバル拡張生成(RAG)パイプライン内のLLMの統合に拡張する。 データ抽出と文脈理解における微調整がLLMの能力に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-06-17T04:35:17Z)
• LaSagnA: Language-based Segmentation Assistant for Complex Queries [39.620806493454616]
  視覚のための大規模言語モデル(vLLM)は、バウンディングボックスやマスクを含む知覚結果を生成する。 本研究では,これらの問題の主な原因が,学習クエリの複雑さの不足であることを認めた。 本稿では,提案フォーマットの直接統合による課題を効果的に解決するための3つの新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:40:45Z)
• GLoRe: When, Where, and How to Improve LLM Reasoning via Global and Local Refinements [18.939302106382094]
  最先端の言語モデルは、数学、科学、あるいはコーディングタスクに関する驚くべき推論の洗練能力を示すことができる。 しかし、最高のモデルでさえ、外部からのフィードバックを使わずに、Textitwhenと洗練すべき場所を特定するのに苦労している。 我々は、最適ポリシーの今後の報奨を近似するために、合成データのみに基づいて訓練されたステップワイズORMを提案する。
  論文  参考訳（メタデータ） (2024-02-13T20:16:29Z)
• List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation [80.12531449946655]
  本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。 GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。 提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-02-05T06:52:53Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Retrieval-Augmented Reinforcement Learning [63.32076191982944]
  過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。 検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。 検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
  論文  参考訳（メタデータ） (2022-02-17T02:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。