論文の概要: Leveraging Large Language Models (LLMs) to Support Collaborative Human-AI Online Risk Data Annotation

• arxiv url: http://arxiv.org/abs/2404.07926v1
• Date: Thu, 11 Apr 2024 17:20:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 13:11:00.058740
• Title: Leveraging Large Language Models (LLMs) to Support Collaborative Human-AI Online Risk Data Annotation
• Title（参考訳）: 大規模言語モデル(LLM)を活用した協調型ヒューマンAIオンラインリスクデータアノテーション
• Authors: Jinkyung Park, Pamela Wisniewski, Vivek Singh,
• Abstract要約: 協調型AIラベリングは、様々なタスクのために大規模で複雑なデータを注釈付けするための有望なアプローチである。 しかし、データアノテーションのための効果的な人間とAIの協調を支援するツールや方法はまだ研究されていない。 なぜなら、共同作業は、ニュアンスとコンテキストを追加する可能性のある双方向のインタラクティブな議論をサポートする必要があるからです。
• 参考スコア（独自算出の注目度）: 0.22530496464901104
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this position paper, we discuss the potential for leveraging LLMs as interactive research tools to facilitate collaboration between human coders and AI to effectively annotate online risk data at scale. Collaborative human-AI labeling is a promising approach to annotating large-scale and complex data for various tasks. Yet, tools and methods to support effective human-AI collaboration for data annotation are under-studied. This gap is pertinent because co-labeling tasks need to support a two-way interactive discussion that can add nuance and context, particularly in the context of online risk, which is highly subjective and contextualized. Therefore, we provide some of the early benefits and challenges of using LLMs-based tools for risk annotation and suggest future directions for the HCI research community to leverage LLMs as research tools to facilitate human-AI collaboration in contextualized online data annotation. Our research interests align very well with the purposes of the LLMs as Research Tools workshop to identify ongoing applications and challenges of using LLMs to work with data in HCI research. We anticipate learning valuable insights from organizers and participants into how LLMs can help reshape the HCI community's methods for working with data.
• Abstract（参考訳）: 本稿では,LLMをインタラクティブな研究ツールとして活用することで,人間のコーダとAIのコラボレーションを促進し,大規模オンラインリスクデータを効果的にアノテートする可能性について論じる。 協調型AIラベリングは、様々なタスクのために大規模で複雑なデータを注釈付けするための有望なアプローチである。 しかし、データアノテーションのための効果的な人間とAIの協調を支援するツールや方法はまだ研究されていない。 このギャップは、特に、高度に主観的で文脈化されたオンラインリスクの文脈において、ニュアンスとコンテキストを追加することができる双方向の対話的な議論をサポートする必要があるため、関係している。 そこで我々は,リスクアノテーションにLLMをベースとしたツールを使用することの早期メリットと課題について紹介し,HCI研究コミュニティがLLMを研究ツールとして活用し,コンテキスト化されたオンラインデータアノテーションにおける人間とAIのコラボレーションを促進するための今後の方向性を提案する。 我々の研究関心は、LLMs as Research Toolsワークショップの目的と非常によく一致し、HCI研究でデータを扱うためにLLMを使うことの課題と、現在進行中のアプリケーションを特定する。 我々は、組織や参加者から貴重な洞察を得て、データを扱うためのHCIコミュニティの手法を再形成する上でLLMをどのように役立つかを期待する。

関連論文リスト

• Understanding the Human-LLM Dynamic: A Literature Survey of LLM Use in Programming Tasks [0.850206009406913]
  大規模言語モデル(LLM)はプログラミングプラクティスを変革し、コード生成活動に重要な機能を提供する。 本稿では,LLMがプログラミングタスクに与える影響を評価するユーザスタディから洞察を得た上で,プログラミングタスクにおけるそれらの使用に焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-01T19:34:46Z)
• Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
  大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。 本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。 我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
  論文  参考訳（メタデータ） (2024-07-04T16:41:08Z)
• Data-Centric AI in the Age of Large Language Models [51.20451986068925]
  本稿では,大規模言語モデル(LLM)に着目した,AI研究におけるデータ中心の視点を提案する。 本研究では,LLMの発達段階(事前学習や微調整など)や推論段階(文脈内学習など)において,データが有効であることを示す。 データを中心とした4つのシナリオを特定し、データ中心のベンチマークとデータキュレーション、データ属性、知識伝達、推論コンテキスト化をカバーします。
  論文  参考訳（メタデータ） (2024-06-20T16:34:07Z)
• Apprentices to Research Assistants: Advancing Research with Large Language Models [0.0]
  大規模言語モデル(LLM)は、様々な研究領域において強力なツールとして登場した。 本稿では,文献レビューと手動実験を通じてその可能性について考察する。
  論文  参考訳（メタデータ） (2024-04-09T15:53:06Z)
• GOLF: Goal-Oriented Long-term liFe tasks supported by human-AI collaboration [4.414024076524777]
  ChatGPTと類似の大規模言語モデル(LLM)は、人間とAIの相互作用と情報探索プロセスに革命をもたらした。 本研究は,LLM機能の範囲を日常的なタスク自動化を超えて拡張し,長期的,重要なライフタスクのユーザを支援する。
  論文  参考訳（メタデータ） (2024-03-25T18:25:10Z)
• Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
  複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。 このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
  論文  参考訳（メタデータ） (2024-02-20T11:03:36Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• Combatting Human Trafficking in the Cyberspace: A Natural Language Processing-Based Methodology to Analyze the Language in Online Advertisements [55.2480439325792]
  このプロジェクトは、高度自然言語処理(NLP)技術により、オンラインC2Cマーケットプレースにおける人身売買の急激な問題に取り組む。 我々は、最小限の監督で擬似ラベル付きデータセットを生成する新しい手法を導入し、最先端のNLPモデルをトレーニングするための豊富なリソースとして機能する。 重要な貢献は、Integrated Gradientsを使った解釈可能性フレームワークの実装であり、法執行にとって重要な説明可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-11-22T02:45:01Z)
• Can AI Serve as a Substitute for Human Subjects in Software Engineering Research? [24.39463126056733]
  本稿では,人工知能(AI)の能力を活用したソフトウェア工学研究における定性データ収集手法を提案する。 定性的データの代替源としてAI生成合成テキストの可能性を探る。 観察研究とユーザ評価における人間の行動のエミュレートを目的とした新しい基礎モデルの開発について論じる。
  論文  参考訳（メタデータ） (2023-11-18T14:05:52Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。