論文の概要: Designing LLM Chains by Adapting Techniques from Crowdsourcing Workflows
- arxiv url: http://arxiv.org/abs/2312.11681v1
- Date: Mon, 18 Dec 2023 20:01:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 17:58:45.292449
- Title: Designing LLM Chains by Adapting Techniques from Crowdsourcing Workflows
- Title(参考訳): クラウドソーシングワークフローからのテクニック適応によるLCMチェーンの設計
- Authors: Madeleine Grunde-McLaughlin, Michelle S. Lam, Ranjay Krishna, Daniel
S. Weld, Jeffrey Heer
- Abstract要約: クラウドソーシングも同様に、複雑なタスクを人間のクラウドワーカーのための小さなタスクに分解する。
本稿では,クラウドソーシングとチェーン化に関する文献を調査し,チェーン開発のための設計空間を構築する。
3つのケーススタディにまたがってLLMチェーンを実装するためにクラウドソーシングを適用する。
- 参考スコア(独自算出の注目度): 40.34716579645656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM chains enable complex tasks by decomposing work into a sequence of
sub-tasks. Crowdsourcing workflows similarly decompose complex tasks into
smaller tasks for human crowdworkers. Chains address LLM errors analogously to
the way crowdsourcing workflows address human error. To characterize
opportunities for LLM chaining, we survey 107 papers across the crowdsourcing
and chaining literature to construct a design space for chain development. The
design space connects an LLM designer's objectives to strategies they can use
to achieve those objectives, and tactics to implement each strategy. To explore
how techniques from crowdsourcing may apply to chaining, we adapt crowdsourcing
workflows to implement LLM chains across three case studies: creating a
taxonomy, shortening text, and writing a short story. From the design space and
our case studies, we identify which techniques transfer from crowdsourcing to
LLM chaining and raise implications for future research and development.
- Abstract(参考訳): LLMチェーンは、作業を一連のサブタスクに分解することで複雑なタスクを可能にする。
ワークフローのクラウドソーシングも同様に、複雑なタスクを小さなタスクに分解する。
チェーンはLLMエラーに対処し、クラウドソーシングワークフローがヒューマンエラーに対処する方法と類似している。
LLMチェインの機会を特徴付けるため,クラウドソーシングとチェーンリングの文献107論文を調査し,チェーン開発のための設計空間を構築する。
設計空間は、LLM設計者の目的を、それらの目的を達成するために使用できる戦略と、それぞれの戦略を実装するための戦術に結びつける。
クラウドソーシングのテクニックをチェーンに適用する方法を探るため、クラウドソーシングワークフローを3つのケーススタディ – 分類の作成、テキストの短縮、短編記事の執筆 – に適用した。
設計分野と事例研究から,クラウドソーシングからllm連鎖へ移行する技術を特定し,今後の研究・開発へのインパクトを示唆する。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - Revisiting Prompt Engineering via Declarative Crowdsourcing [16.624577543520093]
大規模言語モデル(LLM)は、テキスト形式でデータを解釈し、生成するのに驚くほど強力ですが、脆弱でエラーを起こします。
私たちは宣言的な急進的なエンジニアリングのビジョンを打ち出した。
ソート、実体分解、計算に関する予備的ケーススタディは、我々のアプローチの可能性を実証している。
論文 参考訳(メタデータ) (2023-08-07T18:04:12Z) - Prompts Matter: Insights and Strategies for Prompt Engineering in
Automated Software Traceability [45.235173351109374]
大規模言語モデル(LLM)は、自動化トレーサビリティに革命をもたらす可能性がある。
本稿では,LLMからリンク予測を抽出するプロセスについて検討する。
論文 参考訳(メタデータ) (2023-08-01T01:56:22Z) - Power-up! What Can Generative Models Do for Human Computation Workflows? [13.484359389266864]
クラウドソーシングの一環としての大規模言語モデル(LLM)の調査は、まだ未調査の領域である。
実証的な観点から、LLMがクラウドソーシングの有効性をどのように改善できるかについては、現時点ではほとんど分かっていない。
論文 参考訳(メタデータ) (2023-07-05T12:35:29Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z) - Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。
より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。
ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
論文 参考訳(メタデータ) (2023-04-17T09:27:40Z) - On Extracting Specialized Code Abilities from Large Language Models: A
Feasibility Study [22.265542509143756]
大規模言語モデル(LLM)における模倣攻撃の実現可能性について検討する。
攻撃者は、中規模のバックボーンモデルを訓練して、ターゲットのLLMに似た特殊なコード動作を再現できることを示す。
論文 参考訳(メタデータ) (2023-03-06T10:34:41Z) - AI Chains: Transparent and Controllable Human-AI Interaction by Chaining
Large Language Model Prompts [12.73129785710807]
ステップの出力が次のステップの入力となり、ステップごとの利得が集約される。
20人のユーザスタディにおいて、チェインはタスクの結果の質を向上するだけでなく、システムの透明性、制御可能性、コラボレーションの感覚を著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-10-04T19:59:38Z) - Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。
合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。
次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
論文 参考訳(メタデータ) (2021-09-15T21:19:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。