論文の概要: Leveraging Large Language Models (LLMs) to Support Collaborative Human-AI Online Risk Data Annotation
- arxiv url: http://arxiv.org/abs/2404.07926v1
- Date: Thu, 11 Apr 2024 17:20:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 13:11:00.058740
- Title: Leveraging Large Language Models (LLMs) to Support Collaborative Human-AI Online Risk Data Annotation
- Title(参考訳): 大規模言語モデル(LLM)を活用した協調型ヒューマンAIオンラインリスクデータアノテーション
- Authors: Jinkyung Park, Pamela Wisniewski, Vivek Singh,
- Abstract要約: 協調型AIラベリングは、様々なタスクのために大規模で複雑なデータを注釈付けするための有望なアプローチである。
しかし、データアノテーションのための効果的な人間とAIの協調を支援するツールや方法はまだ研究されていない。
なぜなら、共同作業は、ニュアンスとコンテキストを追加する可能性のある双方向のインタラクティブな議論をサポートする必要があるからです。
- 参考スコア(独自算出の注目度): 0.22530496464901104
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this position paper, we discuss the potential for leveraging LLMs as interactive research tools to facilitate collaboration between human coders and AI to effectively annotate online risk data at scale. Collaborative human-AI labeling is a promising approach to annotating large-scale and complex data for various tasks. Yet, tools and methods to support effective human-AI collaboration for data annotation are under-studied. This gap is pertinent because co-labeling tasks need to support a two-way interactive discussion that can add nuance and context, particularly in the context of online risk, which is highly subjective and contextualized. Therefore, we provide some of the early benefits and challenges of using LLMs-based tools for risk annotation and suggest future directions for the HCI research community to leverage LLMs as research tools to facilitate human-AI collaboration in contextualized online data annotation. Our research interests align very well with the purposes of the LLMs as Research Tools workshop to identify ongoing applications and challenges of using LLMs to work with data in HCI research. We anticipate learning valuable insights from organizers and participants into how LLMs can help reshape the HCI community's methods for working with data.
- Abstract(参考訳): 本稿では,LLMをインタラクティブな研究ツールとして活用することで,人間のコーダとAIのコラボレーションを促進し,大規模オンラインリスクデータを効果的にアノテートする可能性について論じる。
協調型AIラベリングは、様々なタスクのために大規模で複雑なデータを注釈付けするための有望なアプローチである。
しかし、データアノテーションのための効果的な人間とAIの協調を支援するツールや方法はまだ研究されていない。
このギャップは、特に、高度に主観的で文脈化されたオンラインリスクの文脈において、ニュアンスとコンテキストを追加することができる双方向の対話的な議論をサポートする必要があるため、関係している。
そこで我々は,リスクアノテーションにLLMをベースとしたツールを使用することの早期メリットと課題について紹介し,HCI研究コミュニティがLLMを研究ツールとして活用し,コンテキスト化されたオンラインデータアノテーションにおける人間とAIのコラボレーションを促進するための今後の方向性を提案する。
我々の研究関心は、LLMs as Research Toolsワークショップの目的と非常によく一致し、HCI研究でデータを扱うためにLLMを使うことの課題と、現在進行中のアプリケーションを特定する。
我々は、組織や参加者から貴重な洞察を得て、データを扱うためのHCIコミュニティの手法を再形成する上でLLMをどのように役立つかを期待する。
関連論文リスト
- Cooperate or Collapse: Emergence of Sustainability Behaviors in a Society of LLM Agents [101.17919953243107]
本稿では,大規模言語モデル(LLM)における戦略的相互作用と協調的意思決定を研究するためのシミュレーションプラットフォームであるGovSimについて紹介する。
我々は,AIエージェント間の資源共有のダイナミクスを探求し,倫理的考察,戦略的計画,交渉スキルの重要性を強調した。
GovSimでは、15の試験されたLLMのうち、持続可能な結果を達成することができたのはわずか2つであり、モデルが共有リソースを管理する能力に重大なギャップがあることを示唆している。
論文 参考訳(メタデータ) (2024-04-25T15:59:16Z) - Apprentices to Research Assistants: Advancing Research with Large Language Models [0.0]
大規模言語モデル(LLM)は、様々な研究領域において強力なツールとして登場した。
本稿では,文献レビューと手動実験を通じてその可能性について考察する。
論文 参考訳(メタデータ) (2024-04-09T15:53:06Z) - GOLF: Goal-Oriented Long-term liFe tasks supported by human-AI collaboration [4.414024076524777]
ChatGPTと類似の大規模言語モデル(LLM)は、人間とAIの相互作用と情報探索プロセスに革命をもたらした。
本研究は,LLM機能の範囲を日常的なタスク自動化を超えて拡張し,長期的,重要なライフタスクのユーザを支援する。
論文 参考訳(メタデータ) (2024-03-25T18:25:10Z) - CoRAL: Collaborative Retrieval-Augmented Large Language Models Improve
Long-tail Recommendation [34.29410946387975]
我々は,協調的な証拠を直接プロンプトに組み込む共同検索強化型LLM,CoRALを紹介した。
LLMは、ユーザ間の共有や個別の好みを分析し、特定のアイテムにどのタイプのユーザが惹かれるかを示すパターンを要約することができる。
実験の結果,コラルは特定のレコメンデーションタスクにおけるLLMの推論能力を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2024-03-11T05:49:34Z) - Large Language Model-based Human-Agent Collaboration for Complex Task
Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。
Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。
このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文 参考訳(メタデータ) (2024-02-20T11:03:36Z) - Rethinking Machine Unlearning for Large Language Models [87.85043572895296]
大規模言語モデル(LLM)の領域における機械学習の研究
このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
論文 参考訳(メタデータ) (2024-02-13T20:51:58Z) - Combatting Human Trafficking in the Cyberspace: A Natural Language
Processing-Based Methodology to Analyze the Language in Online Advertisements [55.2480439325792]
このプロジェクトは、高度自然言語処理(NLP)技術により、オンラインC2Cマーケットプレースにおける人身売買の急激な問題に取り組む。
我々は、最小限の監督で擬似ラベル付きデータセットを生成する新しい手法を導入し、最先端のNLPモデルをトレーニングするための豊富なリソースとして機能する。
重要な貢献は、Integrated Gradientsを使った解釈可能性フレームワークの実装であり、法執行にとって重要な説明可能な洞察を提供する。
論文 参考訳(メタデータ) (2023-11-22T02:45:01Z) - Can AI Serve as a Substitute for Human Subjects in Software Engineering
Research? [24.39463126056733]
本稿では,人工知能(AI)の能力を活用したソフトウェア工学研究における定性データ収集手法を提案する。
定性的データの代替源としてAI生成合成テキストの可能性を探る。
観察研究とユーザ評価における人間の行動のエミュレートを目的とした新しい基礎モデルの開発について論じる。
論文 参考訳(メタデータ) (2023-11-18T14:05:52Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳(メタデータ) (2023-07-24T17:44:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。