論文の概要: Designing LLM Chains by Adapting Techniques from Crowdsourcing Workflows

• arxiv url: http://arxiv.org/abs/2312.11681v3
• Date: Mon, 6 May 2024 18:18:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 19:54:07.716583
• Title: Designing LLM Chains by Adapting Techniques from Crowdsourcing Workflows
• Title（参考訳）: クラウドソーシングワークフローからのテクニック適応によるLCMチェーンの設計
• Authors: Madeleine Grunde-McLaughlin, Michelle S. Lam, Ranjay Krishna, Daniel S. Weld, Jeffrey Heer,
• Abstract要約: LLMチェインは、作業を一連のサブタスクに分解することで複雑なタスクを可能にする。 クラウドソーシングは、ヒューマンエラーに対するクラウドソーシングと同様のエラーに対処する。
• 参考スコア（独自算出の注目度）: 37.60760400107501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM chains enable complex tasks by decomposing work into a sequence of subtasks. Similarly, the more established techniques of crowdsourcing workflows decompose complex tasks into smaller tasks for human crowdworkers. Chains address LLM errors analogously to the way crowdsourcing workflows address human error. To characterize opportunities for LLM chaining, we survey 107 papers across the crowdsourcing and chaining literature to construct a design space for chain development. The design space covers a designer's objectives and the tactics used to build workflows. We then surface strategies that mediate how workflows use tactics to achieve objectives. To explore how techniques from crowdsourcing may apply to chaining, we adapt crowdsourcing workflows to implement LLM chains across three case studies: creating a taxonomy, shortening text, and writing a short story. From the design space and our case studies, we identify takeaways for effective chain design and raise implications for future research and development.
• Abstract（参考訳）: LLMチェインは、作業を一連のサブタスクに分解することで複雑なタスクを可能にする。 同様に、より確立されたクラウドソーシングワークフローのテクニックは、複雑なタスクを人間のクラウドワーカーのための小さなタスクに分解する。 チェーンはLLMエラーに対処し、クラウドソーシングワークフローがヒューマンエラーに対処する方法と類似している。 LLMチェインの機会を特徴付けるため,クラウドソーシングとチェーンリングの文献107点を調査し,チェーン開発のための設計空間を構築した。 デザインスペースは、デザイナの目的とワークフローを構築するために使用される戦術をカバーします。 次に、ワークフローが目的を達成するために戦術を使う方法を仲介する戦略を提示します。 クラウドソーシングのテクニックをチェーンに適用する方法を探るため、クラウドソーシングワークフローを3つのケーススタディ – 分類の作成、テキストの短縮、短編記事の執筆 – に適用した。 デザイン空間とケーススタディから,効果的なチェーン設計の取組みを特定し,今後の研究・開発への示唆を高める。

関連論文リスト

• WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models [105.46456444315693]
  ワークフローオーケストレーションにおける大規模言語モデルの能力を高めるための,データ中心のフレームワークであるLLMを提案する。 最初は106,763のサンプルで大規模な微調整Benchを構築し、28のカテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。 LlamaLlamaは複雑なAPIをオーケストレーションする能力を示しながら、優れた一般化性能を実現している。
  論文  参考訳（メタデータ） (2024-11-08T09:58:02Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• ComfyGen: Prompt-Adaptive Workflows for Text-to-Image Generation [87.39861573270173]
  本稿では,各ユーザプロンプトに自動的にワークフローをカスタマイズすることを目的とする,プロンプト適応型ワークフロー生成の新しいタスクを紹介する。 本稿では,この課題に対処する2つの LLM ベースの手法を提案する。ユーザ・参照データから学習するチューニングベース手法と,既存のフローを選択するために LLM を使用するトレーニングフリー手法である。 本研究は,現場における既存研究の方向性を補完し,テキスト・画像生成の品質向上のための新たな経路を提供することを示す。
  論文  参考訳（メタデータ） (2024-10-02T16:43:24Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• RED-CT: A Systems Design Methodology for Using LLM-labeled Data to Train and Deploy Edge Classifiers for Computational Social Science [0.46560775769914914]
  大規模言語モデル(LLM)は、構造化されていない自然言語データを迅速に分析し分類する能力を向上した。 しかしながら、コスト、ネットワーク制限、セキュリティ上の制約に関する懸念は、彼らの作業プロセスへの統合に問題を引き起こしている。 本研究では,下流教師あり学習タスクにおいて,LLMを不完全なデータアノテータとして利用するシステム設計手法を採用する。
  論文  参考訳（メタデータ） (2024-08-15T15:28:37Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Prompts Matter: Insights and Strategies for Prompt Engineering in Automated Software Traceability [45.235173351109374]
  大規模言語モデル(LLM)は、自動化トレーサビリティに革命をもたらす可能性がある。 本稿では,LLMからリンク予測を抽出するプロセスについて検討する。
  論文  参考訳（メタデータ） (2023-08-01T01:56:22Z)
• Power-up! What Can Generative Models Do for Human Computation Workflows? [13.484359389266864]
  クラウドソーシングの一環としての大規模言語モデル(LLM)の調査は、まだ未調査の領域である。 実証的な観点から、LLMがクラウドソーシングの有効性をどのように改善できるかについては、現時点ではほとんど分かっていない。
  論文  参考訳（メタデータ） (2023-07-05T12:35:29Z)
• AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts [12.73129785710807]
  ステップの出力が次のステップの入力となり、ステップごとの利得が集約される。 20人のユーザスタディにおいて、チェインはタスクの結果の質を向上するだけでなく、システムの透明性、制御可能性、コラボレーションの感覚を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-10-04T19:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。