論文の概要: What Kinds of Contracts Do ML APIs Need?

• arxiv url: http://arxiv.org/abs/2307.14465v1
• Date: Wed, 26 Jul 2023 19:11:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-28 16:36:29.009276
• Title: What Kinds of Contracts Do ML APIs Need?
• Title（参考訳）: ML APIに必要な契約の種類
• Authors: Samantha Syeda Khairunnesa, Shibbir Ahmed, Sayem Mohammad Imtiaz, Hridesh Rajan, Gary T. Leavens
• Abstract要約: 最近の研究によると、機械学習(ML)プログラムはエラーを起こしやすく、MLコードのコントラクトを要求している。 問題は、APIユーザにとって最も役に立つ契約はどんなものなのだろうか? MLパイプラインの初期段階で,APIユーザがエラーをキャッチする上で,どのようなコントラクトが有効なのか,特に関心があります。
• 参考スコア（独自算出の注目度）: 5.920030770509287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that Machine Learning (ML) programs are error-prone and called for contracts for ML code. Contracts, as in the design by contract methodology, help document APIs and aid API users in writing correct code. The question is: what kinds of contracts would provide the most help to API users? We are especially interested in what kinds of contracts help API users catch errors at earlier stages in the ML pipeline. We describe an empirical study of posts on Stack Overflow of the four most often-discussed ML libraries: TensorFlow, Scikit-learn, Keras, and PyTorch. For these libraries, our study extracted 413 informal (English) API specifications. We used these specifications to understand the following questions. What are the root causes and effects behind ML contract violations? Are there common patterns of ML contract violations? When does understanding ML contracts require an advanced level of ML software expertise? Could checking contracts at the API level help detect the violations in early ML pipeline stages? Our key findings are that the most commonly needed contracts for ML APIs are either checking constraints on single arguments of an API or on the order of API calls. The software engineering community could employ existing contract mining approaches to mine these contracts to promote an increased understanding of ML APIs. We also noted a need to combine behavioral and temporal contract mining approaches. We report on categories of required ML contracts, which may help designers of contract languages.
• Abstract（参考訳）: 最近の研究によると、機械学習(ML)プログラムはエラーを起こしやすく、MLコードのコントラクトを要求している。 コントラクトは,コントラクト方法論による設計のように,apiのドキュメント化とapiユーザによる正しいコードの記述を支援する。 問題は、APIユーザにとって最も役に立つ契約はどんなものなのだろうか? 私たちは特に、mlパイプラインの初期段階で、apiユーザがエラーをキャッチするのに役立つ契約の種類に興味を持っています。 TensorFlow、Scikit-learn、Keras、PyTorchの4つの最も頻繁に議論されているMLライブラリのStack Overflowに関するポストに関する実証的研究について説明する。 これらのライブラリでは、413の非公式な(英語)API仕様を抽出した。 これらの仕様を使って以下の質問を理解しました。 ml契約違反の背後にある根本原因と影響は何か? ML契約違反の一般的なパターンはありますか? ML契約を理解するには、高度なレベルのMLソフトウェア専門知識が必要ですか? APIレベルでコントラクトをチェックすることは、MLパイプラインの初期段階における違反の検出に役立ちますか? 私たちの重要な発見は、ML APIの最も一般的に必要とされる契約は、APIの単一引数の制約をチェックするか、API呼び出しの順序をチェックすることです。 ソフトウェアエンジニアリングコミュニティは、ML APIの理解を深めるために、これらの契約をマイニングするために既存のコントラクトマイニングアプローチを採用することができる。 我々はまた、行動と時間的契約のマイニングのアプローチを組み合わせる必要性についても言及した。 契約言語の設計を支援するために必要なml契約のカテゴリについて報告する。

関連論文リスト

• A Systematic Evaluation of Large Code Models in API Suggestion: When, Which, and How [53.65636914757381]
  API提案は、現代のソフトウェア開発において重要なタスクである。 大規模コードモデル(LCM)の最近の進歩は、API提案タスクにおいて有望であることを示している。
  論文  参考訳（メタデータ） (2024-09-20T03:12:35Z)
• DeepREST: Automated Test Case Generation for REST APIs Exploiting Deep Reinforcement Learning [5.756036843502232]
  本稿では、REST APIを自動テストするための新しいブラックボックスアプローチであるDeepRESTを紹介します。 深い強化学習を活用して、暗黙のAPI制約、すなわちAPIドキュメントから隠された制約を明らかにする。 実験により,提案手法は高いテストカバレッジと故障検出を実現する上で極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-16T08:03:55Z)
• WorldAPIs: The World Is Worth How Many APIs? A Thought Experiment [49.00213183302225]
  本稿では, wikiHow 命令をエージェントの配置ポリシーに基礎付けることで, 新たな API を創出するフレームワークを提案する。 大規模言語モデル (LLM) の具体化計画における近年の成功に触発されて, GPT-4 のステアリングを目的とした数発のプロンプトを提案する。
  論文  参考訳（メタデータ） (2024-07-10T15:52:44Z)
• A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
  SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。 ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。 その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
  論文  参考訳（メタデータ） (2024-05-24T02:44:14Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Mondrian: Prompt Abstraction Attack Against Large Language Models for Cheaper API Pricing [19.76564349397695]
  文を抽象化するシンプルで簡単な手法である Mondrian を提案し,LLM API の使用コストを削減できる。 その結果,Mondrianはユーザクエリのトークン長を13%から23%に短縮することに成功した。 その結果、迅速な抽象化攻撃により、API開発とデプロイメントのコストを負担することなく、敵が利益を得ることが可能になる。
  論文  参考訳（メタデータ） (2023-08-07T13:10:35Z)
• ExeKGLib: Knowledge Graphs-Empowered Machine Learning Analytics [6.739841914490015]
  ExeKGLibは、最小限の機械学習知識を持つユーザがMLパイプラインを構築することができるPythonライブラリです。 ExeKGLibの使用例を示し、その利点を示すために従来のMLコードと比較する。
  論文  参考訳（メタデータ） (2023-05-04T16:10:22Z)
• Binding Language Models in Symbolic Languages [146.3027328556881]
  Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。 解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。 実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
  論文  参考訳（メタデータ） (2022-10-06T12:55:17Z)
• HAPI: A Large-scale Longitudinal Dataset of Commercial ML API Predictions [35.48276161473216]
  商用ML APIアプリケーションの1,761,417インスタンスの時系列データセットであるHAPIを提示する。 各インスタンスは、APIに対するクエリ入力と、APIの出力予測/アノテーションと信頼性スコアで構成されている。
  論文  参考訳（メタデータ） (2022-09-18T01:52:16Z)
• OmniXAI: A Library for Explainable AI [98.07381528393245]
  eXplainable AI(XAI)のオープンソースPythonライブラリであるOmniXAIを紹介する。 オールニウェイで説明可能なAI機能と、さまざまな解釈可能な機械学習技術を提供する。 実践者にとってこのライブラリは、アプリケーションの説明を生成するために、使いやすく統合されたインターフェースを提供する。
  論文  参考訳（メタデータ） (2022-06-01T11:35:37Z)
• Improving the Learnability of Machine Learning APIs by Semi-Automated API Wrapping [0.0]
  学習や使用が容易なAPIを作成するという課題に,特に初心者が対処しています。 広く使われているML API skl のこの問題について検討する。 クライアントプログラムに影響を与えることなく、排除できるAPIの未使用部分と明らかに役に立たない部分を特定します。
  論文  参考訳（メタデータ） (2022-03-29T12:42:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。