論文の概要: InstructPipe: Generating Visual Blocks Pipelines with Human Instructions and LLMs
- arxiv url: http://arxiv.org/abs/2312.09672v3
- Date: Thu, 13 Mar 2025 11:47:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-14 17:08:08.028723
- Title: InstructPipe: Generating Visual Blocks Pipelines with Human Instructions and LLMs
- Title(参考訳): InstructPipe:人間の命令とLLMで視覚ブロックパイプラインを生成する
- Authors: Zhongyi Zhou, Jing Jin, Vrushank Phadnis, Xiuxiu Yuan, Jun Jiang, Xun Qian, Kristen Wright, Mark Sherwood, Jason Mayes, Jingtao Zhou, Yiyi Huang, Zheng Xu, Yinda Zhang, Johnny Lee, Alex Olwal, David Kim, Ram Iyengar, Na Li, Ruofei Du,
- Abstract要約: InstructPipeは、テキスト命令で機械学習(ML)パイプラインをプロトタイピングするAIアシスタントである。
2つの大きな言語モデル(LLM)モジュールとコードインタプリタをフレームワークの一部としてコントリビュートしています。
- 参考スコア(独自算出の注目度): 31.33991352821111
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual programming has the potential of providing novice programmers with a low-code experience to build customized processing pipelines. Existing systems typically require users to build pipelines from scratch, implying that novice users are expected to set up and link appropriate nodes from a blank workspace. In this paper, we introduce InstructPipe, an AI assistant for prototyping machine learning (ML) pipelines with text instructions. We contribute two large language model (LLM) modules and a code interpreter as part of our framework. The LLM modules generate pseudocode for a target pipeline, and the interpreter renders the pipeline in the node-graph editor for further human-AI collaboration. Both technical and user evaluation (N=16) shows that InstructPipe empowers users to streamline their ML pipeline workflow, reduce their learning curve, and leverage open-ended commands to spark innovative ideas.
- Abstract(参考訳): ビジュアルプログラミングは、初心者プログラマにカスタマイズされた処理パイプラインを構築するためのローコード体験を提供する可能性がある。
既存のシステムでは、ユーザーはスクラッチからパイプラインを構築する必要があり、初心者ユーザーは空白のワークスペースから適切なノードをセットアップしてリンクすることが期待されている。
本稿では,テキスト命令付きプロトタイピング機械学習(ML)パイプラインのためのAIアシスタントであるInstructPipeを紹介する。
2つの大きな言語モデル(LLM)モジュールとコードインタプリタをフレームワークの一部としてコントリビュートしています。
LLMモジュールはターゲットパイプラインの擬似コードを生成し、インタプリタはノードグラフエディタにパイプラインをレンダリングして、さらに人間とAIのコラボレーションを行う。
技術的およびユーザ評価(N=16)は、InstructPipeがユーザに対して、MLパイプラインワークフローの合理化、学習曲線の削減、オープンなコマンドの活用による革新的なアイデアの創出を可能にしていることを示している。
関連論文リスト
- Skill Discovery for Software Scripting Automation via Offline Simulations with LLMs [63.10710876536337]
検証済みスクリプトの集合であるソフトウェア固有のスキルセットをキュレートするためのオフラインシミュレーションフレームワークを提案する。
本フレームワークは,1)タスク作成,トップダウン機能の利用,およびボトムアップAPIのシナジー探索という2つのコンポーネントから構成される。
Adobe Illustratorでの実験では、我々のフレームワークは自動化の成功率を大幅に改善し、レスポンス時間を短縮し、ランタイムトークンのコストを削減しています。
論文 参考訳(メタデータ) (2025-04-29T04:03:37Z) - Langformers: Unified NLP Pipelines for Language Models [3.690904966341072]
LangformersはオープンソースのPythonライブラリで、NLPパイプラインを合理化するように設計されている。
会話型AI、事前学習、テキスト分類、文の埋め込み/更新、データラベリング、セマンティック検索、知識蒸留を結合型APIに統合する。
論文 参考訳(メタデータ) (2025-04-12T10:17:49Z) - ChainBuddy: An AI Agent System for Generating LLM Pipelines [2.7624021966289605]
ChainBuddyは、ChainForgeプラットフォームに組み込まれた評価パイプラインを生成するためのAIアシスタントである。
本稿では,ChainBuddyをベースラインインタフェースと比較した内的ユーザスタディを報告する。
AIアシスタントを使用する場合、参加者は要求の少ない作業負荷を報告した。
論文 参考訳(メタデータ) (2024-09-20T15:42:33Z) - Instrumentation and Analysis of Native ML Pipelines via Logical Query Plans [3.2362171533623054]
私たちは、データサイエンティストが機械学習パイプラインを開発し、検証し、監視し、分析するのを支援するために、高度に自動化されたソフトウェアプラットフォームを構想しています。
一般的なライブラリに依存したMLパイプラインコードから"論理クエリプラン"を抽出する。
これらの計画に基づいて、パイプラインのセマンティクスとインスツルメンタを自動で推論し、MLパイプラインを書き換えて、データサイエンティストが手動でアノテートしたり、コードを書き換えたりすることなく、さまざまなユースケースを可能にします。
論文 参考訳(メタデータ) (2024-07-10T11:35:02Z) - Controllable Navigation Instruction Generation with Chain of Thought Prompting [74.34604350917273]
本稿では,C-インストラクタを提案する。C-インストラクタは,スタイル制御およびコンテンツ制御可能な命令生成のために,チェーン・オブ・シンクタスタイルのプロンプトを利用する。
C-インストラクタは生成した命令をより追従しやすくし、ランドマークオブジェクトの操作に対する制御性を高める。
論文 参考訳(メタデータ) (2024-07-10T07:37:20Z) - BISCUIT: Scaffolding LLM-Generated Code with Ephemeral UIs in Computational Notebooks [14.640473990776691]
計算ノートブックに新たなワークフローを導入し,LLMベースのコード生成を短時間のUIステップで拡張する。
本稿では,このワークフローを JupyterLab の拡張である BISCUIT に提示する。
BISCUITはユーザの理解を助けるためのコード表現を提供し、迅速なエンジニアリングの複雑さを減らし、ユーザが異なる変数を探索するための遊び場を作成する。
論文 参考訳(メタデータ) (2024-04-10T23:28:09Z) - SPROUT: an Interactive Authoring Tool for Generating Programming Tutorials with the Visualization of Large Language Models [19.885485760758783]
大規模言語モデル(LLM)の急速な開発は、プログラミングチュートリアルの作成効率に革命をもたらした。
プログラミングチュートリアル作成タスクを実行可能なステップに分解する,新しいアプローチを導入する。
次に,SPROUTを提案する。SPROUTは,プログラミングチュートリアル作成プロセスのより深い制御と理解を可能にする,インタラクティブな可視化機能を備えたオーサリングツールである。
論文 参考訳(メタデータ) (2023-12-04T10:46:52Z) - DSPy: Compiling Declarative Language Model Calls into Self-Improving
Pipelines [44.772892598128784]
DSPyは、LMパイプラインをテキスト変換グラフとして抽象化するプログラミングモデルである。
コンパイル後数分で数行のDSPyがGPT-3.5とllama2-13b-chatをセルフブートストラップパイプラインに接続できる。
論文 参考訳(メタデータ) (2023-10-05T17:37:25Z) - From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。
次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。
この結果から,指導指導の3つの重要な影響が明らかになった。
論文 参考訳(メタデータ) (2023-09-30T21:16:05Z) - Learning Vision-and-Language Navigation from YouTube Videos [89.1919348607439]
視覚言語ナビゲーション(VLN)は、自然言語命令を用いて現実的な3D環境をナビゲートするために、具体化されたエージェントを必要とする。
YouTubeには大量のハウスツアービデオがあり、豊富なナビゲーション体験とレイアウト情報を提供している。
住宅ツアービデオから合理的な経路指示ペアとエージェントを事前訓練した大規模データセットを作成する。
論文 参考訳(メタデータ) (2023-07-22T05:26:50Z) - Deep Pipeline Embeddings for AutoML [11.168121941015015]
AutoMLは、最小限の人間の専門知識で機械学習システムを自動デプロイすることで、AIを民主化するための有望な方向である。
既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。
本稿では,機械学習パイプラインのコンポーネント間のディープインタラクションをキャプチャするニューラルアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-05-23T12:40:38Z) - Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。
より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。
ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
論文 参考訳(メタデータ) (2023-04-17T09:27:40Z) - Demonstrate-Search-Predict: Composing retrieval and language models for
knowledge-intensive NLP [77.817293104436]
本稿では,LMとRMの間の洗練されたパイプラインにおいて,自然言語テキストを渡すことに依存するフレームワークを提案する。
我々は、オープンドメイン、マルチホップ、会話設定で質問に答えるための新しいDSPプログラムを作成した。
論文 参考訳(メタデータ) (2022-12-28T18:52:44Z) - OpenPrompt: An Open-source Framework for Prompt-learning [59.17869696803559]
PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。
OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
論文 参考訳(メタデータ) (2021-11-03T03:31:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。