論文の概要: Power-up! What Can Generative Models Do for Human Computation Workflows?

• arxiv url: http://arxiv.org/abs/2307.02243v1
• Date: Wed, 5 Jul 2023 12:35:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 13:56:34.591874
• Title: Power-up! What Can Generative Models Do for Human Computation Workflows?
• Title（参考訳）: パワーアップ! 生成モデルは人間の計算ワークフローに何ができるか?
• Authors: Garrett Allen, Gaole He, Ujwal Gadiraju
• Abstract要約: クラウドソーシングの一環としての大規模言語モデル(LLM)の調査は、まだ未調査の領域である。 実証的な観点から、LLMがクラウドソーシングの有効性をどのように改善できるかについては、現時点ではほとんど分かっていない。
• 参考スコア（独自算出の注目度）: 13.484359389266864
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We are amidst an explosion of artificial intelligence research, particularly around large language models (LLMs). These models have a range of applications across domains like medicine, finance, commonsense knowledge graphs, and crowdsourcing. Investigation into LLMs as part of crowdsourcing workflows remains an under-explored space. The crowdsourcing research community has produced a body of work investigating workflows and methods for managing complex tasks using hybrid human-AI methods. Within crowdsourcing, the role of LLMs can be envisioned as akin to a cog in a larger wheel of workflows. From an empirical standpoint, little is currently understood about how LLMs can improve the effectiveness of crowdsourcing workflows and how such workflows can be evaluated. In this work, we present a vision for exploring this gap from the perspectives of various stakeholders involved in the crowdsourcing paradigm -- the task requesters, crowd workers, platforms, and end-users. We identify junctures in typical crowdsourcing workflows at which the introduction of LLMs can play a beneficial role and propose means to augment existing design patterns for crowd work.
• Abstract（参考訳）: 私たちは人工知能研究の爆発の中で、特に大きな言語モデル(LLM)についています。 これらのモデルには、医学、金融、常識知識グラフ、クラウドソーシングなど、さまざまな分野の応用がある。 クラウドソーシングワークフローの一部としてのLLMの調査は、まだ未調査の領域である。 クラウドソーシング研究コミュニティは、ハイブリッドなヒューマン-AI手法を使用して複雑なタスクを管理するためのワークフローや手法を調査している。 クラウドソーシングでは、LLMの役割は、ワークフローの大きな車輪のコグに似ています。 実証的な観点からみると、LLMがクラウドソーシングワークフローの有効性をどのように改善できるか、そのようなワークフローをどのように評価できるかについては、現時点ではほとんど分かっていない。 本稿では,クラウドソーシングのパラダイムに関わるさまざまなステークホルダー,タスク要求者,クラウドワーカー,プラットフォーム,エンドユーザの視点から,このギャップを探求するためのビジョンを提案する。 一般のクラウドソーシングワークフローにおいて,LLMの導入が有用な役割を担い,既存のデザインパターンをクラウドソーシングに拡張する手法を提案する。

関連論文リスト

• Forecasting Application Counts in Talent Acquisition Platforms: Harnessing Multimodal Signals using LMs [5.7623855432001445]
  本稿では,採用領域における新たな課題,すなわちアプリケーション数予測について論じる。 本稿では,既存の自己回帰型時系列予測手法が,この課題に対して不十分であることを示す。 簡単なエンコーダを用いて,様々なモダリティの求人メタデータを融合したマルチモーダルLMモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-19T01:18:32Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
  大型言語モデル(LLM)は人間のような知性を模倣することができる。 WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-07-07T07:15:49Z)
• WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? [83.19032025950986]
  本稿では,Webブラウザを介してソフトウェアと対話する大規模言語モデルベースエージェントについて検討する。 WorkArenaは、広く使用されているServiceNowプラットフォームに基づく33のタスクのベンチマークである。 BrowserGymは、そのようなエージェントの設計と評価のための環境である。
  論文  参考訳（メタデータ） (2024-03-12T14:58:45Z)
• Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks [53.44714413181162]
  本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。 我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
  論文  参考訳（メタデータ） (2024-03-03T22:57:44Z)
• Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
  複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。 このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
  論文  参考訳（メタデータ） (2024-02-20T11:03:36Z)
• Designing LLM Chains by Adapting Techniques from Crowdsourcing Workflows [37.60760400107501]
  LLMチェインは、作業を一連のサブタスクに分解することで複雑なタスクを可能にする。 クラウドソーシングは、ヒューマンエラーに対するクラウドソーシングと同様のエラーに対処する。
  論文  参考訳（メタデータ） (2023-12-18T20:01:58Z)
• Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
  Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。 人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。 我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
  論文  参考訳（メタデータ） (2023-09-30T07:11:39Z)
• LLMs as Workers in Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs [25.4184470735779]
  LLMは、以前は人間の能力専用と考えられていたクラウドソーシングタスクにおいて、人間のような行動の複製を約束している。 LLMがより複雑なクラウドソーシングパイプラインを複製できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-07-19T17:54:43Z)
• Demystifying a Dark Art: Understanding Real-World Machine Learning Model Development [2.422369741135428]
  機械学習の追跡と共有のためのオープンソースのプラットフォームOpenMLで、ユーザ生成475万以上を分析します。 イテレーションを繰り返すと、ユーザが手動、自動化、あるいは混合のアプローチを採用することがよくあります。
  論文  参考訳（メタデータ） (2020-05-04T14:33:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。