論文の概要: An Exploratory Study of ML Sketches and Visual Code Assistants

• arxiv url: http://arxiv.org/abs/2412.13386v1
• Date: Tue, 17 Dec 2024 23:44:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:49:36.085780
• Title: An Exploratory Study of ML Sketches and Visual Code Assistants
• Title（参考訳）: MLスケッチとビジュアルコードアシスタントの探索的研究
• Authors: Luís F. Gomes, Vincent J. Hellendoorn, Jonathan Aldrich, Rui Abreu,
• Abstract要約: 私たちは、IDE内スケッチ・トゥ・コードツールに関するユーザからのフィードバックを得るために、Visual Code Assistantの最初のプロトタイプを構築します。 機械学習ワークフローを開発する際に、スケッチでよく見られるパターンを分析し、開発者のメンタルモデルを分析する。 LLM-as-judgeセットアップを使用して生成したコードの品質をスコアし、簡単なスケッチであっても有用なコードアウトラインを効果的に生成できることを発見します。
• 参考スコア（独自算出の注目度）: 9.451971404904722
• License:
• Abstract: This paper explores the integration of Visual Code Assistants in Integrated Development Environments (IDEs). In Software Engineering, whiteboard sketching is often the initial step before coding, serving as a crucial collaboration tool for developers. Previous studies have investigated patterns in SE sketches and how they are used in practice, yet methods for directly using these sketches for code generation remain limited. The emergence of visually-equipped large language models presents an opportunity to bridge this gap, which is the focus of our research. In this paper, we built a first prototype of a Visual Code Assistant to get user feedback regarding in-IDE sketch-to-code tools. We conduct an experiment with 19 data scientists, most of whom regularly sketch as part of their job. We investigate developers' mental models by analyzing patterns commonly observed in their sketches when developing an ML workflow. Analysis indicates that diagrams were the preferred organizational component (52.6%), often accompanied by lists (42.1%) and numbered points (36.8%). Our tool converts their sketches into a Python notebook by querying an LLM. We use an LLM-as-judge setup to score the quality of the generated code, finding that even brief sketching can effectively generate useful code outlines. We also find a positive correlation between sketch time and the quality of the generated code. We conclude the study by conducting extensive interviews to assess the tool's usefulness, explore potential use cases, and understand developers' needs. As noted by participants, promising applications for these assistants include education, prototyping, and collaborative settings. Our findings signal promise for the next generation of Code Assistants to integrate visual information, both to improve code generation and to better leverage developers' existing sketching practices.
• Abstract（参考訳）: 本稿では,統合開発環境(IDE)におけるビジュアルコードアシスタントの統合について検討する。 ソフトウェアエンジニアリングでは、ホワイトボードのスケッチはコーディングの最初のステップであり、開発者にとって重要なコラボレーションツールとして役立ちます。 以前の研究では、SEスケッチのパターンと実際にどのように使われているかが研究されてきたが、コード生成にこれらのスケッチを直接使用する方法はまだ限られている。 視覚的に装備された大きな言語モデルの出現は、このギャップを埋める機会となり、これが我々の研究の焦点となっている。 本稿では,IDE内スケッチ・トゥ・コードツールに関するユーザからのフィードバックを得るために,Visual Code Assistantの最初のプロトタイプを構築した。 私たちは19人のデータサイエンティストと実験を行い、そのほとんどが仕事の一部として定期的にスケッチしています。 機械学習ワークフローを開発する際に、スケッチでよく見られるパターンを分析し、開発者のメンタルモデルを調べる。 分析では、ダイアグラムが望ましい組織要素(52.6%)であり、しばしばリスト(42.1%)と番号付きポイント(36.8%)が伴っている。 LLMに問い合わせることで,スケッチをPythonノートに変換する。 LLM-as-judgeセットアップを使用して生成したコードの品質をスコアし、簡単なスケッチであっても有用なコードアウトラインを効果的に生成できることを発見します。 また、スケッチ時間と生成されたコードの品質には正の相関関係がある。 本研究は、ツールの有用性を評価し、潜在的なユースケースを探究し、開発者のニーズを理解するために、広範囲なインタビューを行うことで、研究を締めくくっている。 参加者が指摘するように、これらのアシスタントには教育、プロトタイピング、協調的な設定などの有望な応用がある。 私たちの発見は、コード生成の改善と、開発者の既存のスケッチプラクティスの活用の両面において、次世代のCode Assistantが視覚情報を統合することを約束していることを示している。

関連論文リスト

• Sketch2Code: Evaluating Vision-Language Models for Interactive Web Design Prototyping [55.98643055756135]
  初歩的なスケッチのWebページプロトタイプへの変換を自動化する上で,最先端のビジョン言語モデル(VLM)を評価するベンチマークであるSketch2Codeを紹介した。 我々は、既存のVLMではSketch2Codeが困難であることを示す10の商用およびオープンソースモデルを分析した。 UI/UXの専門家によるユーザ調査では、受動的フィードバックの受信よりも、積極的に質問を行うのがかなり好まれている。
  論文  参考訳（メタデータ） (2024-10-21T17:39:49Z)
• Code Compass: A Study on the Challenges of Navigating Unfamiliar Codebases [2.808331566391181]
  これらの問題に対処するための新しいツールであるCodeを提案する。 本研究は,現在のツールと方法論における大きなギャップを浮き彫りにしている。 私たちのフォーマティブな調査は、開発者がドキュメントをナビゲートする時間をいかに効率的に削減するかを示しています。
  論文  参考訳（メタデータ） (2024-05-10T06:58:31Z)
• Collaborative, Code-Proximal Dynamic Software Visualization within Code Editors [55.57032418885258]
  本稿では,コードエディタに組み込むソフトウェアビジュアライゼーション手法の設計と実装について紹介する。 私たちのコントリビューションは、ソフトウェアシステムの実行時の動作の動的解析を使用するという点で、関連する作業と異なります。 私たちの視覚化アプローチは、一般的なリモートペアプログラミングツールを強化し、共有コード都市を利用することで協調的に使用できます。
  論文  参考訳（メタデータ） (2023-08-30T06:35:40Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• What Can Human Sketches Do for Object Detection? [127.67444974452411]
  スケッチは非常に表現力が高く、本質的に主観的かつきめ細かい視覚的手がかりを捉えている。 スケッチ可能なオブジェクト検出フレームワークは、 textityou sketch -- textit that zebra' に基づいて検出する。 スケッチベース画像検索(SBIR)のために構築された基礎モデル(例えばCLIP)と既存のスケッチモデルとの直感的な相乗効果を示す。 特に、まず、エンコーダモデルの両方のスケッチブランチで独立に実行し、高度に一般化可能なスケッチとフォトエンコーダを構築する。
  論文  参考訳（メタデータ） (2023-03-27T12:33:23Z)
• SkCoder: A Sketch-based Approach for Automatic Code Generation [44.39900916450189]
  そこで我々は,SkCoderというスケッチベースのコード生成手法を提案する。 自然言語の要件が与えられたら、SkCoderは同様のコードスニペットを取得し、コードスケッチとして関連する部分を抽出し、スケッチを所望のコードに編集する。 実験結果によると、SkCoderはより正確なプログラムを生成でき、3つのデータセットで最先端のCodeT5ベースを30.30%、35.39%、29.62%上回っている。
  論文  参考訳（メタデータ） (2023-02-13T07:05:39Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context [112.07988211268612]
  フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。 本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。 フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
  論文  参考訳（メタデータ） (2022-03-04T03:00:51Z)
• Advancing Visual Specification of Code Requirements for Graphs [0.0]
  本稿では,機械学習を用いた有意義なデータの可視化に焦点をあてる。 我々は、人文科学研究者が視覚化のプログラム方法を学ぶための障壁を低くするために、ユーザが視覚的にコード要件を指定できるようにします。 ニューラルネットワークと光学文字認識を組み合わせたハイブリッドモデルを用いて、コードを生成して視覚化する。
  論文  参考訳（メタデータ） (2020-07-29T17:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。