論文の概要: InstructPipe: Building Visual Programming Pipelines with Human
Instructions
- arxiv url: http://arxiv.org/abs/2312.09672v1
- Date: Fri, 15 Dec 2023 10:34:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-12-18 16:13:13.140942
- Title: InstructPipe: Building Visual Programming Pipelines with Human
Instructions
- Title(参考訳): instructpipe: ヒューマンインストラクションによるビジュアルプログラミングパイプラインの構築
- Abstract要約: InstructPipeは、ユーザーがテキスト命令で機械学習パイプライン(ML)のプロトタイピングを開始することができるAIアシスタントである。
InstructPipeは従来の方法に比べてユーザインタラクションを81.1%削減する。
- 参考スコア(独自算出の注目度): 31.827306976375876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual programming provides beginner-level programmers with a coding-free
experience to build their customized pipelines. Existing systems require users
to build a pipeline entirely from scratch, implying that novice users need to
set up and link appropriate nodes all by themselves, starting from a blank
workspace. We present InstructPipe, an AI assistant that enables users to start
prototyping machine learning (ML) pipelines with text instructions. We designed
two LLM modules and a code interpreter to execute our solution. LLM modules
generate pseudocode of a target pipeline, and the interpreter renders a
pipeline in the node-graph editor for further human-AI collaboration. Technical
evaluations reveal that InstructPipe reduces user interactions by 81.1%
compared to traditional methods. Our user study (N=16) showed that InstructPipe
empowers novice users to streamline their workflow in creating desired ML
pipelines, reduce their learning curve, and spark innovative ideas with
open-ended commands.
- Abstract(参考訳): visual programmingは初心者レベルのプログラマに、カスタマイズされたパイプラインを構築するためのコーディング不要なエクスペリエンスを提供する。
既存のシステムでは、スクラッチから完全にパイプラインを構築する必要があるため、初心者のユーザは、空白のワークスペースから始まる適切なノードを自分でセットアップしてリンクする必要がある。
InstructPipeは、ユーザーがテキスト命令で機械学習パイプライン(ML)のプロトタイピングを開始することができるAIアシスタントである。
2つのLCMモジュールとコードインタプリタを設計してソリューションを実行しました。
LLMモジュールはターゲットパイプラインの擬似コードを生成し、インタプリタはノードグラフエディタにパイプラインを描画して、さらなる人間とAIのコラボレーションを行う。
技術的評価では、instructpipeは従来の方法に比べてユーザインタラクションを81.1%削減している。
私たちのユーザスタディ(N=16)では、InstructPipeによって、望まれるMLパイプラインの作成において、初心者のワークフローを合理化し、学習曲線を減らし、オープンなコマンドで革新的なアイデアを創り出すことができます。
関連論文リスト
- Navigating User Behavior toward Personalized Multimodal Generation [65.58245647055583]
本稿では、ユーザのインタラクション履歴をダウンストリーム合成のための実行可能な命令に変換する、パーソナライズされたコンテンツ生成について検討する。
協調的なコードとテキストのコードとを二重に結合した,各項目を表すNaviGenを提案する。
製品、ゲーム、ショートビデオ領域での実験では、NaviGenはパーソナライズされた画像とビデオの生成を改善し、次のイテム予測を強化し、より具体的で関連性があり、視覚的に生成可能な命令を生成する。
論文 参考訳(メタデータ) (2026-06-23T06:31:21Z) - SemPiper: Interactive Code Synthesis for Semantic Operators in Machine Learning Pipelines [7.868559688632956]
機械学習パイプラインをセマンティックデータ演算子で拡張するプログラミングモデルであるSemPipesを実演する。
セマンティック演算子の場合、SemPipesはパイプライントレーニング時に特別な実装を合成する。
本稿では,MLパイプライン開発におけるLLMの制御可能,最適化可能,実用的な統合を実現するためのセマンティック演算子について述べる。
論文 参考訳(メタデータ) (2026-06-12T11:40:09Z) - Toward Reliable Scientific Visualization Pipeline Construction with Structure-Aware Retrieval-Augmented LLMs [8.621769369142395]
本稿では,パイプライン対応のvtk.jsコード例をコンテキストガイダンスとして提供する構造対応検索拡張生成ワークフローを提案する。
構造化されたドメイン固有のコンテキストによってパイプライン実行性が大幅に改善され、修正コストが削減されることを示す。
論文 参考訳(メタデータ) (2026-03-17T01:52:11Z) - SemPipes -- Optimizable Semantic Data Operators for Tabular Machine Learning Pipelines [12.816711873869984]
本稿では,セマンティックデータ演算子をMLパイプラインに統合する新しい宣言型プログラミングモデルであるSemPipesを紹介する。
SemPipesはデータ特性、演算子命令、パイプラインコンテキストに基づいて、カスタム演算子実装を合成する。
セマンティック演算子は、専門家が設計したパイプラインとエージェント生成パイプラインの両方において、エンドツーエンドの予測性能を大幅に向上することを示す。
論文 参考訳(メタデータ) (2026-02-04T23:36:29Z) - Making a Pipeline Production-Ready: Challenges and Lessons Learned in the Healthcare Domain [2.0905671861214894]
SPIRAはML-Enabled System(MLES)を作成し、音声分析によって呼吸不全を診断するプロジェクトである。
本稿では,MLESのアーキテクチャの概要を述べるとともに,その連続訓練サブシステムの3つのバージョンを比較した。
論文は、学習した課題と教訓を共有し、パイプラインを生産しようとする研究者や実践者に洞察を提供する。
論文 参考訳(メタデータ) (2025-06-07T23:00:13Z) - Skill Discovery for Software Scripting Automation via Offline Simulations with LLMs [63.10710876536337]
検証済みスクリプトの集合であるソフトウェア固有のスキルセットをキュレートするためのオフラインシミュレーションフレームワークを提案する。
本フレームワークは,1)タスク作成,トップダウン機能の利用,およびボトムアップAPIのシナジー探索という2つのコンポーネントから構成される。
Adobe Illustratorでの実験では、我々のフレームワークは自動化の成功率を大幅に改善し、レスポンス時間を短縮し、ランタイムトークンのコストを削減しています。
論文 参考訳(メタデータ) (2025-04-29T04:03:37Z) - Snakemaker: Seamlessly transforming ad-hoc analyses into sustainable Snakemake workflows with generative AI [42.10024487478127]
本稿では、生成AIを活用して持続可能なデータ分析パイプラインを実現するツールであるSnakemakerを紹介する。
Snakemakerは、研究者が端末で行った作業を非侵襲的に追跡し、実行パターンを分析し、既存のパイプラインに統合可能なSnakemakeを生成する。
統合チャットアシスタントは、自然言語によるきめ細かい制御を提供する。
論文 参考訳(メタデータ) (2025-04-26T06:00:05Z) - Langformers: Unified NLP Pipelines for Language Models [3.690904966341072]
LangformersはオープンソースのPythonライブラリで、NLPパイプラインを合理化するように設計されている。
会話型AI、事前学習、テキスト分類、文の埋め込み/更新、データラベリング、セマンティック検索、知識蒸留を結合型APIに統合する。
論文 参考訳(メタデータ) (2025-04-12T10:17:49Z) - ChainBuddy: An AI Agent System for Generating LLM Pipelines [2.7624021966289605]
ChainBuddyは、ChainForgeプラットフォームに組み込まれた評価パイプラインを生成するためのAIアシスタントである。
本稿では,ChainBuddyをベースラインインタフェースと比較した内的ユーザスタディを報告する。
AIアシスタントを使用する場合、参加者は要求の少ない作業負荷を報告した。
論文 参考訳(メタデータ) (2024-09-20T15:42:33Z) - Instrumentation and Analysis of Native ML Pipelines via Logical Query Plans [3.2362171533623054]
私たちは、データサイエンティストが機械学習パイプラインを開発し、検証し、監視し、分析するのを支援するために、高度に自動化されたソフトウェアプラットフォームを構想しています。
一般的なライブラリに依存したMLパイプラインコードから"論理クエリプラン"を抽出する。
これらの計画に基づいて、パイプラインのセマンティクスとインスツルメンタを自動で推論し、MLパイプラインを書き換えて、データサイエンティストが手動でアノテートしたり、コードを書き換えたりすることなく、さまざまなユースケースを可能にします。
論文 参考訳(メタデータ) (2024-07-10T11:35:02Z) - Controllable Navigation Instruction Generation with Chain of Thought Prompting [74.34604350917273]
本稿では,C-インストラクタを提案する。C-インストラクタは,スタイル制御およびコンテンツ制御可能な命令生成のために,チェーン・オブ・シンクタスタイルのプロンプトを利用する。
C-インストラクタは生成した命令をより追従しやすくし、ランドマークオブジェクトの操作に対する制御性を高める。
論文 参考訳(メタデータ) (2024-07-10T07:37:20Z) - BISCUIT: Scaffolding LLM-Generated Code with Ephemeral UIs in Computational Notebooks [14.640473990776691]
計算ノートブックに新たなワークフローを導入し,LLMベースのコード生成を短時間のUIステップで拡張する。
本稿では,このワークフローを JupyterLab の拡張である BISCUIT に提示する。
BISCUITはユーザの理解を助けるためのコード表現を提供し、迅速なエンジニアリングの複雑さを減らし、ユーザが異なる変数を探索するための遊び場を作成する。
論文 参考訳(メタデータ) (2024-04-10T23:28:09Z) - SPROUT: an Interactive Authoring Tool for Generating Programming Tutorials with the Visualization of Large Language Models [19.885485760758783]
大規模言語モデル(LLM)の急速な開発は、プログラミングチュートリアルの作成効率に革命をもたらした。
プログラミングチュートリアル作成タスクを実行可能なステップに分解する,新しいアプローチを導入する。
次に,SPROUTを提案する。SPROUTは,プログラミングチュートリアル作成プロセスのより深い制御と理解を可能にする,インタラクティブな可視化機能を備えたオーサリングツールである。
論文 参考訳(メタデータ) (2023-12-04T10:46:52Z) - DSPy: Compiling Declarative Language Model Calls into Self-Improving
Pipelines [44.772892598128784]
DSPyは、LMパイプラインをテキスト変換グラフとして抽象化するプログラミングモデルである。
コンパイル後数分で数行のDSPyがGPT-3.5とllama2-13b-chatをセルフブートストラップパイプラインに接続できる。
論文 参考訳(メタデータ) (2023-10-05T17:37:25Z) - From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。
次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。
この結果から,指導指導の3つの重要な影響が明らかになった。
論文 参考訳(メタデータ) (2023-09-30T21:16:05Z) - Learning Vision-and-Language Navigation from YouTube Videos [89.1919348607439]
視覚言語ナビゲーション(VLN)は、自然言語命令を用いて現実的な3D環境をナビゲートするために、具体化されたエージェントを必要とする。
YouTubeには大量のハウスツアービデオがあり、豊富なナビゲーション体験とレイアウト情報を提供している。
住宅ツアービデオから合理的な経路指示ペアとエージェントを事前訓練した大規模データセットを作成する。
論文 参考訳(メタデータ) (2023-07-22T05:26:50Z) - Deep Pipeline Embeddings for AutoML [11.168121941015015]
AutoMLは、最小限の人間の専門知識で機械学習システムを自動デプロイすることで、AIを民主化するための有望な方向である。
既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。
本稿では,機械学習パイプラインのコンポーネント間のディープインタラクションをキャプチャするニューラルアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-05-23T12:40:38Z) - Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。
より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。
ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
論文 参考訳(メタデータ) (2023-04-17T09:27:40Z) - Demonstrate-Search-Predict: Composing retrieval and language models for
knowledge-intensive NLP [77.817293104436]
本稿では,LMとRMの間の洗練されたパイプラインにおいて,自然言語テキストを渡すことに依存するフレームワークを提案する。
我々は、オープンドメイン、マルチホップ、会話設定で質問に答えるための新しいDSPプログラムを作成した。
論文 参考訳(メタデータ) (2022-12-28T18:52:44Z) - OpenPrompt: An Open-source Framework for Prompt-learning [59.17869696803559]
PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。
OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
論文 参考訳(メタデータ) (2021-11-03T03:31:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。