論文の概要: Detecting Multi-Parameter Constraint Inconsistencies in Python Data Science Libraries

• arxiv url: http://arxiv.org/abs/2411.11410v1
• Date: Mon, 18 Nov 2024 09:30:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:34:52.708730
• Title: Detecting Multi-Parameter Constraint Inconsistencies in Python Data Science Libraries
• Title（参考訳）: Pythonデータサイエンスライブラリにおけるマルチパラメータ制約の不整合の検出
• Authors: Xiufeng Xu, Fuman Xie, Chenguang Zhu, Guangdong Bai, Sarfraz Khurshid, Yi Li,
• Abstract要約: 本稿では,コードとドキュメントの不整合を検出するMPDetectorを提案する。 MPDetectorは、シンボリック実行を通じて実行パスを探索することで、これらの制約をコードレベルで識別する。 本研究では,LLM出力の予測不可能性を再現するファジィ制約論理を提案する。
• 参考スコア（独自算出の注目度）: 21.662640566736098
• License:
• Abstract: Modern AI- and Data-intensive software systems rely heavily on data science and machine learning libraries that provide essential algorithmic implementations and computational frameworks. These libraries expose complex APIs whose correct usage has to follow constraints among multiple interdependent parameters. Developers using these APIs are expected to learn about the constraints through the provided documentations and any discrepancy may lead to unexpected behaviors. However, maintaining correct and consistent multi-parameter constraints in API documentations remains a significant challenge for API compatibility and reliability. To address this challenge, we propose an MPDetector for detecting inconsistencies between code and documentation, specifically focusing on multi-parameter constraints. MPDetector identifies these constraints at the code level by exploring execution paths through symbolic execution and further extracts corresponding constraints from documentation using large language models (LLMs). We propose a customized fuzzy constraint logic to reconcile the unpredictability of LLM outputs and detect logical inconsistencies between the code and documentation constraints. We collected and constructed two datasets from four popular data science libraries and evaluated MPDetector on them. The results demonstrate that MPDetector can effectively detect inconsistency issues with the precision of 92.8%. We further reported 14 detected inconsistency issues to the library developers, who have confirmed 11 issues at the time of writing.
• Abstract（参考訳）: 現代のAIとデータ集約型ソフトウェアシステムは、重要なアルゴリズムの実装と計算フレームワークを提供するデータサイエンスと機械学習ライブラリに大きく依存している。 これらのライブラリは、複数の相互依存パラメータ間の制約に従う必要がある複雑なAPIを公開する。 これらのAPIを使用する開発者は、提供されたドキュメントを通じて制約について学ぶことが期待されている。 しかし、APIドキュメントの正確で一貫性のあるマルチパラメータ制約を維持することは、APIの互換性と信頼性にとって大きな課題である。 この課題に対処するため,コードとドキュメント間の不整合を検出するMPDetectorを提案し,特にマルチパラメータ制約に着目した。 MPDetectorは、シンボリック実行を通じて実行パスを探索することで、これらの制約をコードレベルで識別し、さらに大きな言語モデル(LLM)を使用してドキュメントから対応する制約を抽出する。 本研究では,LLM出力の予測不可能性を調整し,コードと文書間の論理的不整合を検出するためのファジィ制約論理を提案する。 4つの一般的なデータサイエンスライブラリから2つのデータセットを収集し,その上でMPDetectorを評価した。 その結果,MPDetectorは92.8%の精度で矛盾を効果的に検出できることがわかった。 筆者らはさらに,ライブラリ開発者に対して14件の不整合を報告し,11件の問題を報告した。

関連論文リスト

• The Midas Touch: Triggering the Capability of LLMs for RM-API Misuse Detection [26.28337534131051]
  ChatDetectorは、RM-API誤用検出のためのドキュメント理解を完全に自動化する。 ChatDetectorは、最先端のAPI検出器と比較して、98.21%の精度で165組のRM-APIを識別する。
  論文  参考訳（メタデータ） (2024-09-14T09:11:18Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
  KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。 実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
  論文  参考訳（メタデータ） (2024-07-14T14:48:18Z)
• SparseCL: Sparse Contrastive Learning for Contradiction Retrieval [87.02936971689817]
  コントラディション検索(Contradiction Search)とは、クエリの内容に明示的に異を唱える文書を識別し、抽出することである。 類似性探索やクロスエンコーダモデルといった既存の手法には、大きな制限がある。 文間の微妙で矛盾したニュアンスを保存するために特別に訓練された文埋め込みを利用するSparseCLを導入する。
  論文  参考訳（メタデータ） (2024-06-15T21:57:03Z)
• DLLens: Testing Deep Learning Libraries via LLM-aided Synthesis [8.779035160734523]
  テストは、ディープラーニング(DL)ライブラリの品質を保証するための主要なアプローチである。 既存のテスト技術では、テストオラクルの構築を緩和するために差分テストを採用するのが一般的である。 本稿では,DLライブラリテストのための新しい差分試験手法であるシーレンスを紹介する。
  論文  参考訳（メタデータ） (2024-06-12T07:06:38Z)
• VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
  大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。 バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。 VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
  論文  参考訳（メタデータ） (2024-06-11T16:15:06Z)
• LLMDFA: Analyzing Dataflow in Code with Large Language Models [8.92611389987991]
  本稿では,コンパイル不要でカスタマイズ可能なデータフロー解析フレームワークLLMDFAを提案する。 問題をいくつかのサブタスクに分解し、一連の新しい戦略を導入する。 LLMDFAは平均87.10%の精度と80.77%のリコールを達成し、F1スコアを最大0.35に向上させた。
  論文  参考訳（メタデータ） (2024-02-16T15:21:35Z)
• How You Prompt Matters! Even Task-Oriented Constraints in Instructions Affect LLM-Generated Text Detection [39.254432080406346]
  タスク指向の制約 -- 命令に自然に含まれ、検出回避とは無関係な制約 -- でさえ、既存の強力な検出器は検出性能に大きなばらつきを持つ。 実験の結果,命令を複数回生成したり,命令を言い換えたりすることで,命令によって生成されたテキストの標準偏差(SD)が有意に大きい(SDは14.4F1スコアまで)ことがわかった。
  論文  参考訳（メタデータ） (2023-11-14T18:32:52Z)
• MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
  自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。 このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。 第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
  論文  参考訳（メタデータ） (2023-10-24T17:59:20Z)
• M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection [69.29017069438228]
  大規模言語モデル(LLM)は,多様なユーザクエリに対して,流動的な応答を生成する優れた能力を示している。 これはまた、ジャーナリズム、教育、アカデミアにおけるそのようなテキストの誤用の可能性への懸念も提起している。 本研究では,機械が生成したテキストを検知し,潜在的誤用を特定できる自動システムの構築を試みている。
  論文  参考訳（メタデータ） (2023-05-24T08:55:11Z)
• Salesforce CausalAI Library: A Fast and Scalable Framework for Causal Analysis of Time Series and Tabular Data [76.85310770921876]
  観測データを用いた因果解析のためのオープンソースライブラリであるSalesforce CausalAI Libraryを紹介した。 このライブラリの目標は、因果関係の領域における様々な問題に対して、迅速かつ柔軟なソリューションを提供することである。
  論文  参考訳（メタデータ） (2023-01-25T22:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。