論文の概要: Towards Understanding Machine Learning Testing in Practise

• arxiv url: http://arxiv.org/abs/2305.04988v2
• Date: Mon, 22 May 2023 11:43:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 11:42:39.277253
• Title: Towards Understanding Machine Learning Testing in Practise
• Title（参考訳）: 実践における機械学習テストの理解に向けて
• Authors: Arumoy Shome, Luis Cruz, Arie van Deursen
• Abstract要約: 本稿では,Jupyterノートブックのマイニングによる機械学習パイプラインの可視化について検討する。 まず、より小さなノートのサンプルの質的研究を用いて、一般的な洞察と傾向を収集する。 そして、質的研究から得られた知識を使って、より大きなノートブックのサンプルを使って経験的な研究を設計する。
• 参考スコア（独自算出の注目度）: 23.535630175567146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visualisations drive all aspects of the Machine Learning (ML) Development Cycle but remain a vastly untapped resource by the research community. ML testing is a highly interactive and cognitive process which demands a human-in-the-loop approach. Besides writing tests for the code base, bulk of the evaluation requires application of domain expertise to generate and interpret visualisations. To gain a deeper insight into the process of testing ML systems, we propose to study visualisations of ML pipelines by mining Jupyter notebooks. We propose a two prong approach in conducting the analysis. First, gather general insights and trends using a qualitative study of a smaller sample of notebooks. And then use the knowledge gained from the qualitative study to design an empirical study using a larger sample of notebooks. Computational notebooks provide a rich source of information in three formats -- text, code and images. We hope to utilise existing work in image analysis and Natural Language Processing for text and code, to analyse the information present in notebooks. We hope to gain a new perspective into program comprehension and debugging in the context of ML testing.
• Abstract（参考訳）: 可視化は機械学習(ML)開発サイクルのあらゆる側面を駆動しますが、研究コミュニティによる未完成のリソースとして残っています。 MLテストは、ヒューマン・イン・ザ・ループアプローチを必要とする非常にインタラクティブで認知的なプロセスである。 コードベースに対するテストの記述に加えて、多くの評価では、視覚化の生成と解釈にドメインの専門知識を応用する必要がある。 MLシステムのテストプロセスに関するより深い知見を得るために,JupyterノートブックのマイニングによるMLパイプラインの可視化について検討する。 分析を行うための2つのアプローチを提案する。 まず、小さなノートのサンプルの質的研究を用いて、一般的な洞察と傾向を収集する。 そして、質的研究から得られた知識を使って、ノートブックの大きなサンプルを使って経験的な研究を設計する。 計算ノートは3つのフォーマット – テキスト,コード,イメージ – で豊富な情報ソースを提供する。 我々は,テキストやコードに対する画像解析や自然言語処理で既存の作業を活用し,ノートブックに存在する情報を分析することを希望する。 MLテストのコンテキストにおいて、プログラムの理解とデバッグに関する新たな視点を得ることを期待しています。

関連論文リスト

• Thematic Analysis with Open-Source Generative AI and Machine Learning: A New Method for Inductive Qualitative Codebook Development [0.0]
  本稿では,GATOS(Generative AI- enabled Theme Organization and Structuring)ワークフローを紹介する。 オープンソースの機械学習技術、自然言語処理ツール、および生成テキストモデルを使用して、テーマ分析を容易にする。 GATOSのワークフローは、元の合成データセットを生成するのに使われたテキストのテーマを識別できることを示す。
  論文  参考訳（メタデータ） (2024-09-28T18:52:16Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• Assistive Image Annotation Systems with Deep Learning and Natural Language Capabilities: A Review [0.0]
  本稿では、入力画像のテキスト提案、キャプション、記述をアノテータに提供するためのAI支援型ディープラーニング画像アノテーションシステムについて検討する。 各種データセットをレビューし,AI補助アノテーションシステムのトレーニングと評価にどのように貢献するかを検討する。 有望な可能性にもかかわらず、テキスト出力機能を備えたAIアシスト画像アノテーションに関する公開作業は限られている。
  論文  参考訳（メタデータ） (2024-06-28T22:56:17Z)
• Towards Automatic Translation of Machine Learning Visual Insights to Analytical Assertions [23.535630175567146]
  機械学習(ML)の可視化で観察される視覚特性をPythonアサーションに変換する自動化ツールを開発するためのビジョンを提示する。 このツールは、ML開発サイクルでこれらの視覚化を手作業で検証するプロセスの合理化を目的としている。
  論文  参考訳（メタデータ） (2024-01-15T14:11:59Z)
• Large Language Models for Generative Information Extraction: A Survey [89.71273968283616]
  大規模言語モデル(LLM)は、テキスト理解と生成において顕著な能力を示した。 各種IEサブタスクと技術の観点から,これらの作品を分類して概観する。 我々は,最も先進的な手法を実証的に分析し,LLMによるIEタスクの出現傾向を明らかにする。
  論文  参考訳（メタデータ） (2023-12-29T14:25:22Z)
• A Machine Learning-oriented Survey on Tiny Machine Learning [9.690117347832722]
  Tiny Machine Learning(TinyML)の出現は、人工知能の分野に積極的に革命をもたらした。 TinyMLは、社会、経済、個人が効果的なAI融合コンピューティング技術を採用するのを助けるために、第4および第5次産業革命において不可欠な役割を担っている。
  論文  参考訳（メタデータ） (2023-09-21T09:47:12Z)
• Understanding ME? Multimodal Evaluation for Fine-grained Visual Commonsense [98.70218717851665]
  モデルが、限られた評価データ資源のために、視覚的シーンと基礎となるコモンセンス知識を本当に理解しているかどうかは不明だ。 本稿では,視覚シーン,テキスト,関連知識に対するモデルの理解をテストするために,質問応答ペアを自動的に生成するマルチモーダル評価(ME)パイプラインを提案する。 次に、MEデータによるトレーニングが標準VCR評価におけるモデルの性能を高めることを示すために、さらに一歩踏み出します。
  論文  参考訳（メタデータ） (2022-11-10T21:44:33Z)
• Align, Reason and Learn: Enhancing Medical Vision-and-Language Pre-training with Knowledge [68.90835997085557]
  本稿では,3つの視点から構造化された医療知識を高めるための体系的かつ効果的なアプローチを提案する。 まず、視覚エンコーダと言語エンコーダの表現を知識を通して整列する。 次に,多モード融合モデルに知識を注入し,入力画像とテキストの補足として知識を用いた推論を可能にする。 第3に、知識によって引き起こされるプレテキストタスクを設計することで、画像やテキストの最も重要な情報に重点を置くよう、モデルを指導する。
  論文  参考訳（メタデータ） (2022-09-15T08:00:01Z)
• A Transfer Learning Pipeline for Educational Resource Discovery with Application in Leading Paragraph Generation [71.92338855383238]
  本稿では,新しいドメインに対するWebリソース発見を自動化するパイプラインを提案する。 パイプラインは2つの類似しているが新規なターゲットドメインで評価すると、F1スコアは0.94と0.82となる。 本研究は,サーベイジェネレーションのための各種Webリソースを考察した最初の研究である。
  論文  参考訳（メタデータ） (2022-01-07T03:35:40Z)
• Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
  本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。 抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
  論文  参考訳（メタデータ） (2021-09-10T07:20:43Z)
• Code2Image: Intelligent Code Analysis by Computer Vision Techniques and Application to Vulnerability Prediction [0.6091702876917281]
  本稿では,意味的および構文的性質を維持しつつ,ソースコードを画像として表現する新しい手法を提案する。 この手法により,ソースコードのイメージ表現を直接入力として深層学習(DL)アルゴリズムに入力することができる。 脆弱性予測ユースケースをパブリックデータセット上で実現することで,本手法の実現可能性と有効性を示す。
  論文  参考訳（メタデータ） (2021-05-07T09:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。