論文の概要: Towards Automatic Translation of Machine Learning Visual Insights to Analytical Assertions

• arxiv url: http://arxiv.org/abs/2401.07696v1
• Date: Mon, 15 Jan 2024 14:11:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 16:57:42.540417
• Title: Towards Automatic Translation of Machine Learning Visual Insights to Analytical Assertions
• Title（参考訳）: 機械学習ビジュアルインサイトの自動翻訳から分析的アサーションへ
• Authors: Arumoy Shome and Luis Cruz and Arie van Deursen
• Abstract要約: 機械学習(ML)の可視化で観察される視覚特性をPythonアサーションに変換する自動化ツールを開発するためのビジョンを提示する。 このツールは、ML開発サイクルでこれらの視覚化を手作業で検証するプロセスの合理化を目的としている。
• 参考スコア（独自算出の注目度）: 23.535630175567146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present our vision for developing an automated tool capable of translating visual properties observed in Machine Learning (ML) visualisations into Python assertions. The tool aims to streamline the process of manually verifying these visualisations in the ML development cycle, which is critical as real-world data and assumptions often change post-deployment. In a prior study, we mined $54,070$ Jupyter notebooks from Github and created a catalogue of $269$ semantically related visualisation-assertion (VA) pairs. Building on this catalogue, we propose to build a taxonomy that organises the VA pairs based on ML verification tasks. The input feature space comprises of a rich source of information mined from the Jupyter notebooks -- visualisations, Python source code, and associated markdown text. The effectiveness of various AI models, including traditional NLP4Code models and modern Large Language Models, will be compared using established machine translation metrics and evaluated through a qualitative study with human participants. The paper also plans to address the challenge of extending the existing VA pair dataset with additional pairs from Kaggle and to compare the tool's effectiveness with commercial generative AI models like ChatGPT. This research not only contributes to the field of ML system validation but also explores novel ways to leverage AI for automating and enhancing software engineering practices in ML.
• Abstract（参考訳）: 機械学習(ML)の視覚化で観察される視覚特性をPythonアサーションに変換する自動化ツールを開発するためのビジョンを提示する。 このツールは、ML開発サイクルでこれらの視覚化を手作業で検証するプロセスの合理化を目的としている。 以前の研究では、githubから54,070ドルのjupyterノートブックを発掘し、269ドルのセマンティック関連可視化支援(va)ペアのカタログを作成しました。 このカタログに基づいて, ml検証タスクに基づいてvaペアを編成する分類法を構築することを提案する。 入力機能空間は、jupyterノートブックから抽出された豊富な情報ソース – 可視化、pythonソースコード、関連するマークダウンテキスト – で構成されている。 従来のNLP4Codeモデルや現代の大規模言語モデルなど、さまざまなAIモデルの有効性は、確立された機械翻訳メトリクスを用いて比較され、人間の参加者との質的研究を通じて評価される。 論文はまた、既存のVAペアデータセットをKaggleから追加のペアで拡張することの課題にも対処し、ツールの有効性をChatGPTのような商用生成AIモデルと比較する予定である。 この研究は、MLシステム検証の分野に貢献するだけでなく、機械学習におけるソフトウェアエンジニアリングプラクティスの自動化と強化にAIを活用する新しい方法も探求している。

関連論文リスト

• iGAiVA: Integrated Generative AI and Visual Analytics in a Machine Learning Workflow for Text Classification [2.0094862015890245]
  視覚分析(VA)を用いて,大規模言語モデルを用いた合成データの生成を誘導する手法を提案する。 本稿では,データ不足の種別について論じ,その識別を支援するVA技術について述べるとともに,対象データ合成の有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-24T08:19:45Z)
• PUB: Plot Understanding Benchmark and Dataset for Evaluating Large Language Models on Synthetic Visual Data Interpretation [2.1184929769291294]
  本稿では,データ視覚化における大規模言語モデルの習熟度を評価するために設計された,新しい合成データセットを提案する。 我々のデータセットは、制御されたパラメータを使って生成され、潜在的な現実世界シナリオの包括的カバレッジが保証されます。 我々は、画像中の視覚データに関連する質問を多モーダルテキストプロンプトを用いて、いくつかの最先端モデルをベンチマークする。
  論文  参考訳（メタデータ） (2024-09-04T11:19:17Z)
• AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
  本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。 さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
  論文  参考訳（メタデータ） (2024-03-26T04:27:56Z)
• Deciphering AutoML Ensembles: cattleia's Assistance in Decision-Making [0.0]
  Cattleiaは、回帰、マルチクラス、バイナリ分類タスクのアンサンブルを解読するアプリケーションである。 Auto-Sklearn、AutoGluon、FLAMLという3つのAutoMLパッケージで構築されたモデルで動作する。
  論文  参考訳（メタデータ） (2024-03-19T11:56:21Z)
• Quantitative Assurance and Synthesis of Controllers from Activity Diagrams [4.419843514606336]
  確率的モデル検査は、定性的および定量的な性質を自動検証するために広く用いられている形式的検証手法である。 これにより、必要な知識を持っていない研究者やエンジニアにはアクセスできない。 本稿では,確率時間の新しいプロファイル,品質アノテーション,3つのマルコフモデルにおけるADの意味論的解釈,アクティビティ図からPRISM言語への変換ルールのセットなど,ADの総合的な検証フレームワークを提案する。 最も重要なことは、モデルをベースとした手法を用いて、完全自動検証のための変換アルゴリズムを開発し、QASCADと呼ばれるツールで実装したことです。
  論文  参考訳（メタデータ） (2024-02-29T22:40:39Z)
• Voila-A: Aligning Vision-Language Models with User's Gaze Attention [56.755993500556734]
  視覚言語モデル(VLM)を導くために,人間の注意の代用として視線情報を導入する。 本稿では,視線アライメントのための新しいアプローチであるVoila-Aを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:01Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• AutoML-GPT: Automatic Machine Learning with GPT [74.30699827690596]
  本稿では,タスク指向のプロンプトを開発し,大規模言語モデル(LLM)を自動的に活用して学習パイプラインを自動化することを提案する。 本稿では,多様なAIモデルのブリッジとしてGPTを用いたAutoML-GPTを提案する。 このアプローチはコンピュータビジョン、自然言語処理、その他の課題領域において顕著な結果をもたらす。
  論文  参考訳（メタデータ） (2023-05-04T02:09:43Z)
• ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented Visual Models [102.63817106363597]
  ELEVATERは、事前訓練された言語拡張ビジュアルモデルの比較と評価を行う最初のベンチマークである。 20の画像分類データセットと35のオブジェクト検出データセットで構成され、それぞれが外部知識で拡張されている。 研究コミュニティ向けのツールキットと評価プラットフォームをリリースします。
  論文  参考訳（メタデータ） (2022-04-19T10:23:42Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。