論文の概要: Safe-DS: A Domain Specific Language to Make Data Science Safe
- arxiv url: http://arxiv.org/abs/2302.14548v1
- Date: Tue, 28 Feb 2023 13:14:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 16:34:42.228504
- Title: Safe-DS: A Domain Specific Language to Make Data Science Safe
- Title(参考訳): Safe-DS: データサイエンスを安全にするためのドメイン固有言語
- Authors: Lars Reimann, G\"unter Kniesel-W\"unsche
- Abstract要約: Safe-DSを介して静的に安全な方法で,Python DSライブラリの豊富な使用方法を示す。
Safe-DSは、通常の型エラーと範囲制限、データ操作、関数の呼び出し順序に関連するエラーをキャッチする。
Pythonライブラリは、宣言のインターフェースを指定するスタブ言語を介してSafe-DSに統合される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the long runtime of Data Science (DS) pipelines, even small
programming mistakes can be very costly, if they are not detected statically.
However, even basic static type checking of DS pipelines is difficult because
most are written in Python. Static typing is available in Python only via
external linters. These require static type annotations for parameters or
results of functions, which many DS libraries do not provide. In this paper, we
show how the wealth of Python DS libraries can be used in a statically safe way
via Safe-DS, a domain specific language (DSL) for DS. Safe-DS catches
conventional type errors plus errors related to range restrictions, data
manipulation, and call order of functions, going well beyond the abilities of
current Python linters. Python libraries are integrated into Safe-DS via a stub
language for specifying the interface of its declarations, and an API-Editor
that is able to extract type information from the code and documentation of
Python libraries, and automatically generate suitable stubs.
Moreover, Safe-DS complements textual DS pipelines with a graphical
representation that eases safe development by preventing syntax errors. The
seamless synchronization of textual and graphic view lets developers always
choose the one best suited for their skills and current task. We think that
Safe-DS can make DS development easier, faster, and more reliable,
significantly reducing development costs.
- Abstract(参考訳): データサイエンス(DS)パイプラインの長期実行のため、静的に検出されない場合、小さなプログラミングミスでさえ非常にコストがかかる。
しかし、ほとんどがpythonで書かれているため、dsパイプラインの基本的な静的型チェックさえ難しい。
静的型付けはPythonでは外部リンタでのみ利用できる。
これらは、多くのDSライブラリが提供していないパラメータや関数の結果に対する静的な型アノテーションを必要とする。
本稿では,多くのPython DSライブラリが,ドメイン固有言語(DSL)であるSafe-DSを介して静的に安全な方法で利用可能であることを示す。
Safe-DSは、従来の型エラーに加えて、範囲制限、データ操作、関数の呼び出し順序に関連するエラーをキャッチする。
Pythonライブラリは、宣言のインターフェースを指定するスタブ言語と、Pythonライブラリのコードとドキュメントから型情報を抽出し、適切なスタブを自動的に生成するAPI-Editorを介してSafe-DSに統合される。
さらに、Safe-DSは構文エラーを防止して安全な開発を容易にするグラフィカル表現でテキストDSパイプラインを補完する。
テキストとグラフィックビューのシームレスな同期により、開発者は常にスキルと現在のタスクに最適なものを選ぶことができる。
Safe-DSにより、DS開発がより簡単、より速く、より信頼性が高く、開発コストを大幅に削減できると考えています。
関連論文リスト
- pyvene: A Library for Understanding and Improving PyTorch Models via
Interventions [79.72930339711478]
$textbfpyvene$は、さまざまなPyTorchモジュールに対するカスタマイズ可能な介入をサポートするオープンソースライブラリである。
私たちは、$textbfpyvene$が、ニューラルモデルへの介入を実行し、他のモデルとインターバルされたモデルを共有するための統一されたフレームワークを提供する方法を示します。
論文 参考訳(メタデータ) (2024-03-12T16:46:54Z) - Causal-learn: Causal Discovery in Python [53.17423883919072]
因果発見は、観測データから因果関係を明らかにすることを目的としている。
$textitcausal-learn$は因果発見のためのオープンソースのPythonライブラリである。
論文 参考訳(メタデータ) (2023-07-31T05:00:35Z) - Exploring Security Commits in Python [11.533638656389137]
Pythonのほとんどのセキュリティ問題は、CVEによってインデックス化されておらず、'silent'セキュリティコミットによってのみ修正される可能性がある。
限られたデータバリエーション、非包括的コードセマンティクス、解釈不能な学習機能のために、隠れたセキュリティコミットを特定することが重要だ。
Pythonの最初のセキュリティコミットデータセットであるPySecDBを構築し、ベースデータセット、パイロットデータセット、拡張データセットを含む3つのサブセットで構成される。
論文 参考訳(メタデータ) (2023-07-21T18:46:45Z) - Transactional Python for Durable Machine Learning: Vision, Challenges,
and Feasibility [5.669983975369642]
Pythonアプリケーションは、トレーニングされたモデルや抽出された機能などの重要なデータを失う可能性がある。
本稿では,ユーザプログラムやPythonカーネルにコード修正を加えることなくDARTを提供するトランザクショナルPythonのビジョンについて述べる。
公開PyTorchおよびScikit-learnアプリケーションによる概念実証実装の評価は、DARTが1.5%~15.6%のオーバーヘッドで提供可能であることを示している。
論文 参考訳(メタデータ) (2023-05-15T16:27:09Z) - PyGOD: A Python Library for Graph Outlier Detection [71.8385116214495]
PyGODは、グラフデータ上の外れ値を検出するオープンソースライブラリである。
コードの信頼性と保守性を向上するためのベストプラクティスを備えている。
論文 参考訳(メタデータ) (2022-04-26T06:15:21Z) - Scikit-dimension: a Python package for intrinsic dimension estimation [58.8599521537]
この技術ノートは、固有次元推定のためのオープンソースのPythonパッケージであるtextttscikit-dimensionを紹介している。
textttscikit-dimensionパッケージは、Scikit-learnアプリケーションプログラミングインターフェイスに基づいて、既知のID推定子のほとんどを均一に実装する。
パッケージを簡潔に記述し、実生活と合成データにおけるID推定手法の大規模(500以上のデータセット)ベンチマークでその使用を実証する。
論文 参考訳(メタデータ) (2021-09-06T16:46:38Z) - SafePILCO: a software tool for safe and data-efficient policy synthesis [67.17251247987187]
SafePILCOは、強化学習による安全でデータ効率のよいポリシー検索のためのソフトウェアツールである。
これは、Pythonで書かれた既知のPILCOアルゴリズムを拡張し、安全な学習をサポートする。
論文 参考訳(メタデータ) (2020-08-07T17:17:30Z) - pyBART: Evidence-based Syntactic Transformations for IE [52.93947844555369]
pyBARTは、英語のUD木を拡張UDグラフに変換するためのオープンソースのPythonライブラリである。
パターンに基づく関係抽出のシナリオで評価すると、より少ないパターンを必要としながら、より高精細なUDよりも高い抽出スコアが得られる。
論文 参考訳(メタデータ) (2020-05-04T07:38:34Z) - A Survey of Document Grounded Dialogue Systems (DGDS) [29.17161275640516]
背景知識に基づいて対話システム(DS)を分類する。
文書基盤対話システム(DGDS)を,対話が与えられた文書に集中しているDSとして定義する。
DGDSの研究は幅広い応用可能性を持っているだけでなく、AIが人間の知識や自然言語をよりよく理解できるようにする。
論文 参考訳(メタデータ) (2020-04-17T03:22:28Z) - fastai: A Layered API for Deep Learning [1.7223564681760164]
fastaiは、実践者に高度なコンポーネントを提供するディープラーニングライブラリである。
これは研究者に、新しいアプローチを構築するために混在し、マッチできる低レベルのコンポーネントを提供する。
論文 参考訳(メタデータ) (2020-02-11T21:16:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。