論文の概要: Towards Understanding Machine Learning Testing in Practise
- arxiv url: http://arxiv.org/abs/2305.04988v2
- Date: Mon, 22 May 2023 11:43:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 11:42:39.277253
- Title: Towards Understanding Machine Learning Testing in Practise
- Title(参考訳): 実践における機械学習テストの理解に向けて
- Authors: Arumoy Shome, Luis Cruz, Arie van Deursen
- Abstract要約: 本稿では,Jupyterノートブックのマイニングによる機械学習パイプラインの可視化について検討する。
まず、より小さなノートのサンプルの質的研究を用いて、一般的な洞察と傾向を収集する。
そして、質的研究から得られた知識を使って、より大きなノートブックのサンプルを使って経験的な研究を設計する。
- 参考スコア(独自算出の注目度): 23.535630175567146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visualisations drive all aspects of the Machine Learning (ML) Development
Cycle but remain a vastly untapped resource by the research community. ML
testing is a highly interactive and cognitive process which demands a
human-in-the-loop approach. Besides writing tests for the code base, bulk of
the evaluation requires application of domain expertise to generate and
interpret visualisations. To gain a deeper insight into the process of testing
ML systems, we propose to study visualisations of ML pipelines by mining
Jupyter notebooks. We propose a two prong approach in conducting the analysis.
First, gather general insights and trends using a qualitative study of a
smaller sample of notebooks. And then use the knowledge gained from the
qualitative study to design an empirical study using a larger sample of
notebooks. Computational notebooks provide a rich source of information in
three formats -- text, code and images. We hope to utilise existing work in
image analysis and Natural Language Processing for text and code, to analyse
the information present in notebooks. We hope to gain a new perspective into
program comprehension and debugging in the context of ML testing.
- Abstract(参考訳): 可視化は機械学習(ML)開発サイクルのあらゆる側面を駆動しますが、研究コミュニティによる未完成のリソースとして残っています。
MLテストは、ヒューマン・イン・ザ・ループアプローチを必要とする非常にインタラクティブで認知的なプロセスである。
コードベースに対するテストの記述に加えて、多くの評価では、視覚化の生成と解釈にドメインの専門知識を応用する必要がある。
MLシステムのテストプロセスに関するより深い知見を得るために,JupyterノートブックのマイニングによるMLパイプラインの可視化について検討する。
分析を行うための2つのアプローチを提案する。
まず、小さなノートのサンプルの質的研究を用いて、一般的な洞察と傾向を収集する。
そして、質的研究から得られた知識を使って、ノートブックの大きなサンプルを使って経験的な研究を設計する。
計算ノートは3つのフォーマット – テキスト,コード,イメージ – で豊富な情報ソースを提供する。
我々は,テキストやコードに対する画像解析や自然言語処理で既存の作業を活用し,ノートブックに存在する情報を分析することを希望する。
MLテストのコンテキストにおいて、プログラムの理解とデバッグに関する新たな視点を得ることを期待しています。
関連論文リスト
- Towards Automatic Translation of Machine Learning Visual Insights to
Analytical Assertions [23.535630175567146]
機械学習(ML)の可視化で観察される視覚特性をPythonアサーションに変換する自動化ツールを開発するためのビジョンを提示する。
このツールは、ML開発サイクルでこれらの視覚化を手作業で検証するプロセスの合理化を目的としている。
論文 参考訳(メタデータ) (2024-01-15T14:11:59Z) - Large Language Models for Generative Information Extraction: A Survey [93.28676955662002]
情報抽出は、平易な自然言語テキストから構造的知識を抽出することを目的としている。
生成型大規模言語モデル(LLM)は、テキストの理解と生成において顕著な能力を示した。
LLMは生成パラダイムに基づいたIEタスクに対して実行可能なソリューションを提供する。
論文 参考訳(メタデータ) (2023-12-29T14:25:22Z) - A Machine Learning-oriented Survey on Tiny Machine Learning [9.690117347832722]
Tiny Machine Learning(TinyML)の出現は、人工知能の分野に積極的に革命をもたらした。
TinyMLは、社会、経済、個人が効果的なAI融合コンピューティング技術を採用するのを助けるために、第4および第5次産業革命において不可欠な役割を担っている。
論文 参考訳(メタデータ) (2023-09-21T09:47:12Z) - Understanding ME? Multimodal Evaluation for Fine-grained Visual
Commonsense [98.70218717851665]
モデルが、限られた評価データ資源のために、視覚的シーンと基礎となるコモンセンス知識を本当に理解しているかどうかは不明だ。
本稿では,視覚シーン,テキスト,関連知識に対するモデルの理解をテストするために,質問応答ペアを自動的に生成するマルチモーダル評価(ME)パイプラインを提案する。
次に、MEデータによるトレーニングが標準VCR評価におけるモデルの性能を高めることを示すために、さらに一歩踏み出します。
論文 参考訳(メタデータ) (2022-11-10T21:44:33Z) - Align, Reason and Learn: Enhancing Medical Vision-and-Language
Pre-training with Knowledge [68.90835997085557]
本稿では,3つの視点から構造化された医療知識を高めるための体系的かつ効果的なアプローチを提案する。
まず、視覚エンコーダと言語エンコーダの表現を知識を通して整列する。
次に,多モード融合モデルに知識を注入し,入力画像とテキストの補足として知識を用いた推論を可能にする。
第3に、知識によって引き起こされるプレテキストタスクを設計することで、画像やテキストの最も重要な情報に重点を置くよう、モデルを指導する。
論文 参考訳(メタデータ) (2022-09-15T08:00:01Z) - Vision-Language Intelligence: Tasks, Representation Learning, and Large
Models [32.142076223602906]
本稿では,時間的観点からの視覚言語知能の包括的調査について述べる。
本稿では,この分野での開発を,タスク固有手法,視覚言語事前学習法,大規模弱ラベルデータによって強化された大規模モデルという3つの期間にまとめる。
論文 参考訳(メタデータ) (2022-03-03T18:54:59Z) - A Transfer Learning Pipeline for Educational Resource Discovery with
Application in Leading Paragraph Generation [71.92338855383238]
本稿では,新しいドメインに対するWebリソース発見を自動化するパイプラインを提案する。
パイプラインは2つの類似しているが新規なターゲットドメインで評価すると、F1スコアは0.94と0.82となる。
本研究は,サーベイジェネレーションのための各種Webリソースを考察した最初の研究である。
論文 参考訳(メタデータ) (2022-01-07T03:35:40Z) - Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。
抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
論文 参考訳(メタデータ) (2021-09-10T07:20:43Z) - Code2Image: Intelligent Code Analysis by Computer Vision Techniques and
Application to Vulnerability Prediction [0.6091702876917281]
本稿では,意味的および構文的性質を維持しつつ,ソースコードを画像として表現する新しい手法を提案する。
この手法により,ソースコードのイメージ表現を直接入力として深層学習(DL)アルゴリズムに入力することができる。
脆弱性予測ユースケースをパブリックデータセット上で実現することで,本手法の実現可能性と有効性を示す。
論文 参考訳(メタデータ) (2021-05-07T09:10:20Z) - Open Source Software for Efficient and Transparent Reviews [0.11179881480027788]
ASReviewはオープンソースの機械学習支援パイプラインで、アクティブラーニングを適用している。
シミュレーションにより,ASReviewは手作業によるレビューよりもはるかに効率的なレビューを実現することができることを示す。
論文 参考訳(メタデータ) (2020-06-22T11:57:10Z) - ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine
Reading Comprehension [53.037401638264235]
我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。
評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
論文 参考訳(メタデータ) (2019-12-29T07:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。