論文の概要: Navigating the challenges in creating complex data systems: a
development philosophy
- arxiv url: http://arxiv.org/abs/2210.13191v1
- Date: Fri, 21 Oct 2022 14:28:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 21:43:49.998535
- Title: Navigating the challenges in creating complex data systems: a
development philosophy
- Title(参考訳): 複雑なデータシステム構築における課題のナビゲート:開発哲学
- Authors: S\"oren Dittmer, Michael Roberts, Julian Gilbey, Ander Biguri,
AIX-COVNET Collaboration, Jacobus Preller, James H.F. Rudd, John A.D. Aston,
Carola-Bibiane Sch\"onlieb
- Abstract要約: 逆のインセンティブと広範なソフトウェアエンジニアリングスキルの欠如は、多くの根本原因のひとつです。
私たちは2つの重要な開発哲学を提唱します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this perspective, we argue that despite the democratization of powerful
tools for data science and machine learning over the last decade, developing
the code for a trustworthy and effective data science system (DSS) is getting
harder. Perverse incentives and a lack of widespread software engineering (SE)
skills are among many root causes we identify that naturally give rise to the
current systemic crisis in reproducibility of DSSs. We analyze why SE and
building large complex systems is, in general, hard. Based on these insights,
we identify how SE addresses those difficulties and how we can apply and
generalize SE methods to construct DSSs that are fit for purpose. We advocate
two key development philosophies, namely that one should incrementally grow --
not biphasically plan and build -- DSSs, and one should always employ two types
of feedback loops during development: one which tests the code's correctness
and another that evaluates the code's efficacy.
- Abstract(参考訳): この観点では、過去10年間のデータサイエンスと機械学習のための強力なツールの民主化にもかかわらず、信頼できる効果的なデータサイエンスシステム(dss)のためのコードの開発が難しくなっていると論じている。
逆のインセンティブと広範なソフトウェアエンジニアリング(SE)スキルの欠如は、DSSの再現性における現在のシステム的危機を自然に引き起こす根本原因のひとつです。
SEと大規模複雑なシステムの構築が一般的に難しい理由を分析します。
これらの知見に基づいて、SEがこれらの困難にどのように対処するか、目的に適したDSSを構築するためにSEメソッドを適用し、一般化する方法を同定する。
私たちは2つの重要な開発哲学を提唱しています。つまり、dssを二分的に計画し、構築するのではなく、段階的に成長させ、開発中に常に2つのタイプのフィードバックループを採用すべきだということです。
関連論文リスト
- Self-sustaining Software Systems (S4): Towards Improved Interpretability
and Adaptation [8.328861861105889]
システムの複雑さは解釈可能性に挑戦し、動的変化に対する自律的な応答を必要とする。
2つの主要な研究分野は、進化型コンピューティングと自律型コンピューティングである。
本稿では,自己維持型ソフトウェアシステム(S4)という,解釈可能かつ適応可能なソフトウェアシステムのための新しい概念を提案する。
論文 参考訳(メタデータ) (2024-01-21T02:07:34Z) - DLAS: An Exploration and Assessment of the Deep Learning Acceleration
Stack [3.7873597471903935]
私たちはDeep Learning Acceleration Stack (DLAS)で機械学習とシステム技術を組み合わせています。
2つのデータセット間でDLASのパラメータが異なる場合の精度と推定時間への影響を評価した。
全体として、圧縮技術によって提供されるスピードアップは、非常にハードウェアに依存している。
論文 参考訳(メタデータ) (2023-11-15T12:26:31Z) - Rust for Embedded Systems: Current State, Challenges and Open Problems [7.007575519473526]
本稿では,組み込みシステムにRUSTを使用する際の現状と課題を総合的に理解するための,最初の体系的研究を行う。
さまざまなカテゴリにまたがる2,836のRUST組込みソフトウェアと5つの静的アプリケーションセキュリティテスト(SAST)ツールのデータセットを収集しました。
既存のRUSTソフトウェアサポートが不十分であること、SASTツールがRUST組み込みソフトウェアの特定の機能に対応できないこと、そして既存のRUSTソフトウェアにおける高度な型の導入が、相互運用可能なコードのエンジニアリングを困難にしていることを発見した。
論文 参考訳(メタデータ) (2023-11-08T23:59:32Z) - When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。
具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。
コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文 参考訳(メタデータ) (2023-08-29T17:22:39Z) - Integration of Domain Expert-Centric Ontology Design into the CRISP-DM
for Cyber-Physical Production Systems [63.62764375279861]
機械学習(ML)とデータマイニング(DM)の手法は、収集されたデータから複雑で隠れたパターンを抽出する上で有望であることが証明されている。
しかし、このようなデータ駆動プロジェクトは、通常、CRISPDM(Cross-Industry Standard Process for Data Mining)で実行され、データの理解と準備に要する時間の不均等さのために失敗することが多い。
このコントリビューションは、データサイエンティストがCPPSの課題に対してより迅速かつ確実に洞察を得ることができるように、統合されたアプローチを提供することを目的としている。
論文 参考訳(メタデータ) (2023-07-21T15:04:00Z) - Unpacking Privacy Labels: A Measurement and Developer Perspective on
Google's Data Safety Section [23.183167991569352]
本稿では,定量的および定性的手法を用いて,Googleのデータ安全セクション(DSS)の包括的解析を行う。
報告されたプラクティスには内部的な矛盾があることが分かりました。
次に、DSSの縦断的研究を行い、報告されたプラクティスが時間の経過とともにどのように進化するかを考察する。
論文 参考訳(メタデータ) (2023-06-13T20:01:08Z) - DC-Check: A Data-Centric AI checklist to guide the development of
reliable machine learning systems [81.21462458089142]
データ中心のAIは、信頼できるエンドツーエンドパイプラインを可能にする統一パラダイムとして登場しています。
データ中心の考慮事項を抽出する実行可能なチェックリストスタイルのフレームワークであるDC-Checkを提案する。
この開発におけるデータ中心のレンズは、システム開発に先立って思考力と透明性を促進することを目的としている。
論文 参考訳(メタデータ) (2022-11-09T17:32:09Z) - Explainable Intrusion Detection Systems (X-IDS): A Survey of Current
Methods, Challenges, and Opportunities [0.0]
侵入検知システム(IDS)は、大量のデータを高い予測精度で処理できるため、広く採用されている。
深層学習(DL)技術を用いて設計されたIDSは、ブラックボックスモデルとして扱われることが多く、予測の正当化は提供されない。
この調査では、IDSの最先端AI(XAI)とその現在の課題についてレビューし、これらの課題がX-IDSの設計にどのように当てはまるかを論じる。
論文 参考訳(メタデータ) (2022-07-13T14:31:46Z) - Learning Physical Concepts in Cyber-Physical Systems: A Case Study [72.74318982275052]
本稿では,時系列データにおける物理概念の学習方法に関する研究の現状について概説する。
また,3タンクシステムの例を用いて,最先端技術から最も重要な手法を分析した。
論文 参考訳(メタデータ) (2021-11-28T14:24:52Z) - Data Mining with Big Data in Intrusion Detection Systems: A Systematic
Literature Review [68.15472610671748]
クラウドコンピューティングは、複雑で高性能でスケーラブルな計算のために、強力で必要不可欠な技術になっている。
データ生成の迅速化とボリュームは、データ管理とセキュリティに重大な課題をもたらし始めている。
ビッグデータ設定における侵入検知システム(IDS)の設計と展開が重要視されている。
論文 参考訳(メタデータ) (2020-05-23T20:57:12Z) - Deep Learning for Person Re-identification: A Survey and Outlook [233.36948173686602]
人物再識別(Re-ID)は、複数の重複しないカメラを通して興味ある人物を検索することを目的としている。
人物のRe-IDシステム開発に関わるコンポーネントを分離することにより、それをクローズドワールドとオープンワールドのセッティングに分類する。
論文 参考訳(メタデータ) (2020-01-13T12:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。