論文の概要: ChainForge: A Visual Toolkit for Prompt Engineering and LLM Hypothesis Testing

• arxiv url: http://arxiv.org/abs/2309.09128v3
• Date: Fri, 3 May 2024 18:34:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 00:55:03.386639
• Title: ChainForge: A Visual Toolkit for Prompt Engineering and LLM Hypothesis Testing
• Title（参考訳）: ChainForge: プロンプトエンジニアリングとLLM仮説テストのためのビジュアルツールキット
• Authors: Ian Arawjo, Chelse Swoopes, Priyan Vaithilingam, Martin Wattenberg, Elena Glassman,
• Abstract要約: ChainForgeは、大規模な言語モデルの迅速なエンジニアリングとオンデマンド仮説テストのためのオープンソースのビジュアルツールキットである。 モデル選択、プロンプトテンプレート設計、仮説テストをサポートする。 我々は,3つの素早いエンジニアリングと仮説テストのモードを同定する:機会探索,限られた評価,反復的改善である。
• 参考スコア（独自算出の注目度）: 6.6094204686888745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating outputs of large language models (LLMs) is challenging, requiring making -- and making sense of -- many responses. Yet tools that go beyond basic prompting tend to require knowledge of programming APIs, focus on narrow domains, or are closed-source. We present ChainForge, an open-source visual toolkit for prompt engineering and on-demand hypothesis testing of text generation LLMs. ChainForge provides a graphical interface for comparison of responses across models and prompt variations. Our system was designed to support three tasks: model selection, prompt template design, and hypothesis testing (e.g., auditing). We released ChainForge early in its development and iterated on its design with academics and online users. Through in-lab and interview studies, we find that a range of people could use ChainForge to investigate hypotheses that matter to them, including in real-world settings. We identify three modes of prompt engineering and LLM hypothesis testing: opportunistic exploration, limited evaluation, and iterative refinement.
• Abstract（参考訳）: 大規模言語モデル(LLM)のアウトプットを評価することは難しい。 しかし、基本的なプロンプトを超えたツールは、プログラミングAPIの知識、狭いドメインにフォーカスしたり、クローズドソースになる傾向がある。 本稿では,テキスト生成LLMの迅速なエンジニアリングとオンデマンド仮説テストのための,オープンソースのビジュアルツールキットであるChainForgeを紹介する。 ChainForgeは、モデル間でのレスポンスの比較と、変更のプロンプトのためのグラフィカルインターフェースを提供する。 提案システムは,モデル選択,テンプレート設計のプロンプト,仮説テスト(監査など)の3つのタスクをサポートするように設計された。 開発の初期段階でChainForgeをリリースし、学術やオンラインユーザによる設計を反復しました。 インラボやインタビュー研究を通じて、ChainForgeを使って、現実世界の設定を含む、自分たちにとって重要な仮説を調査できることがわかりました。 我々は,3種類の即時エンジニアリングとLLM仮説テスト(機会探索,限られた評価,反復的改善)を同定した。

関連論文リスト

• From the Least to the Most: Building a Plug-and-Play Visual Reasoner via Data Synthesis [38.256412418893554]
  視覚言語モデル(VLM)における多段階推論について検討する。 まず、質問のステップをサブクエストにインターリーブする、最小から最短の視覚的推論パラダイムを導入する。 画像に対する質問や多段階の推論経路を自動生成する新しいデータ合成手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T14:04:10Z)
• TESTEVAL: Benchmarking Large Language Models for Test Case Generation [15.343859279282848]
  大規模言語モデル(LLM)を用いたテストケース生成のための新しいベンチマークであるTESTEVALを提案する。 オンラインプログラミングプラットフォームLeetCodeから210のPythonプログラムを収集し、全体的なカバレッジ、ターゲットライン/ブランチカバレッジ、ターゲットパスカバレッジという3つの異なるタスクを設計します。 特定のプログラム行/ブランチ/パスをカバーするテストケースを生成することは、現在のLLMでは依然として困難である。
  論文  参考訳（メタデータ） (2024-06-06T22:07:50Z)
• Tool Learning with Large Language Models: A Survey [60.733557487886635]
  大規模言語モデル(LLM)を用いたツール学習は,高度に複雑な問題に対処するLLMの能力を強化するための,有望なパラダイムとして登場した。 この分野での注目と急速な進歩にもかかわらず、現存する文献は断片化され、体系的な組織が欠如している。
  論文  参考訳（メタデータ） (2024-05-28T08:01:26Z)
• Tasks People Prompt: A Taxonomy of LLM Downstream Tasks in Software Verification and Falsification Approaches [2.687757575672707]
  我々は、分類、マッピング、分析を行うための新しい下流タスク分類法を開発した。 主な分類基準は、タスクタイプの変動点を示しながら、共通点を強調することである。
  論文  参考訳（メタデータ） (2024-04-14T23:45:23Z)
• Chain-of-Discussion: A Multi-Model Framework for Complex Evidence-Based Question Answering [55.295699268654545]
  本稿では,オープンソースのLarge Language Model間の相乗効果を利用する新しいChain-of-Discussionフレームワークを提案する。 実験の結果,複数のLSM間の議論は回答の質を高める上で重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2024-02-26T05:31:34Z)
• FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation [92.43001160060376]
  本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。 多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。 我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。 これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
  論文  参考訳（メタデータ） (2023-10-05T00:04:12Z)
• Revisiting Prompt Engineering via Declarative Crowdsourcing [16.624577543520093]
  大規模言語モデル(LLM)は、テキスト形式でデータを解釈し、生成するのに驚くほど強力ですが、脆弱でエラーを起こします。 私たちは宣言的な急進的なエンジニアリングのビジョンを打ち出した。 ソート、実体分解、計算に関する予備的ケーススタディは、我々のアプローチの可能性を実証している。
  論文  参考訳（メタデータ） (2023-08-07T18:04:12Z)
• Chain-Of-Thought Prompting Under Streaming Batch: A Case Study [0.7106986689736827]
  CoT(Chain-of-Thought)は、複雑な推論を行う上で、LLM(Large Language Models)を支援する方法として提案されている。 本稿では,ストリーミング設定におけるバッチデータを用いたチェーン・オブ・ソート・プロンプトの構築と最適化に関するケーススタディを提案する。
  論文  参考訳（メタデータ） (2023-06-01T11:11:39Z)
• CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
  大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。 我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。 我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:51:52Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Attributed Question Answering: Evaluation and Modeling for Attributed Large Language Models [68.37431984231338]
  大規模言語モデル(LLM)は、直接の監督をほとんど必要とせず、様々なタスクにわたって印象的な結果を示している。 我々は、LLMが生成するテキストの属性に持つ能力は、この設定においてシステム開発者とユーザの両方にとって不可欠であると信じている。
  論文  参考訳（メタデータ） (2022-12-15T18:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。