論文の概要: CoAuthor: Designing a Human-AI Collaborative Writing Dataset for Exploring Language Model Capabilities

• arxiv url: http://arxiv.org/abs/2201.06796v1
• Date: Tue, 18 Jan 2022 07:51:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-20 00:00:44.266750
• Title: CoAuthor: Designing a Human-AI Collaborative Writing Dataset for Exploring Language Model Capabilities
• Title（参考訳）: CoAuthor: 言語モデル機能探索のための人間とAIの協調的な記述データセットの設計
• Authors: Mina Lee, Percy Liang, Qian Yang
• Abstract要約: 我々は,GPT-3の創造的かつ議論的な記述を支援する能力を明らかにするために設計されたデータセットであるCoAuthorを提案する。 我々は、CoAuthorがGPT-3の言語、アイデア、コラボレーション機能に関する問題に対処できることを実証した。 インタラクション設計に関して,この作業がLMの約束や落とし穴に関して,より原則化された議論を促進する可能性について論じる。
• 参考スコア（独自算出の注目度）: 92.79451009324268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LMs) offer unprecedented language generation capabilities and exciting opportunities for interaction design. However, their highly context-dependent capabilities are difficult to grasp and are often subjectively interpreted. In this paper, we argue that by curating and analyzing large interaction datasets, the HCI community can foster more incisive examinations of LMs' generative capabilities. Exemplifying this approach, we present CoAuthor, a dataset designed for revealing GPT-3's capabilities in assisting creative and argumentative writing. CoAuthor captures rich interactions between 63 writers and four instances of GPT-3 across 1445 writing sessions. We demonstrate that CoAuthor can address questions about GPT-3's language, ideation, and collaboration capabilities, and reveal its contribution as a writing "collaborator" under various definitions of good collaboration. Finally, we discuss how this work may facilitate a more principled discussion around LMs' promises and pitfalls in relation to interaction design. The dataset and an interface for replaying the writing sessions are publicly available at https://coauthor.stanford.edu.
• Abstract（参考訳）: 大型言語モデル(lms)は、前例のない言語生成能力と相互作用設計のエキサイティングな機会を提供する。 しかし、文脈に依存した能力は理解が困難であり、しばしば主観的に解釈される。 本稿では,大規模なインタラクションデータセットをキュレートし,分析することで,hciコミュニティがlmsのジェネレーティブ能力のより切迫的な検証を育むことができると論じる。 このアプローチの実証として,創造的かつ議論的な文章作成を支援するGPT-3の能力を明らかにするために設計されたデータセットであるCoAuthorを提案する。 CoAuthorは、63のライターと1445の書き込みセッションでGPT-3の4つのインスタンス間のリッチなインタラクションをキャプチャする。 我々は, GPT-3の言語, アイデア, コラボレーション能力に関する問題に対処できることを実証し, 良質なコラボレーションのさまざまな定義の下で, 共同作業者としての貢献を明らかにした。 最後に、この作業がlmsの約束と相互作用設計に関する落とし穴に関するより原則的な議論をいかに促進するかについて議論する。 書き込みセッションを再生するためのデータセットとインターフェースはhttps://coauthor.stanford.eduで公開されている。

関連論文リスト

• Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
  大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。 我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。 複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-09T08:24:17Z)
• Navigating the Path of Writing: Outline-guided Text Generation with Large Language Models [8.920436030483872]
  本稿では,Large Language Models (LLMs) をユーザ整列テキスト生成のガイドとして,明示的なアウトラインを用いたLinging Pathを提案する。 我々のアプローチは、構造化された記述計画と推論パスからインスピレーションを得て、書き込みプロセス全体を通してユーザの意図を捉え、反映することに重点を置いています。
  論文  参考訳（メタデータ） (2024-04-22T06:57:43Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Unraveling ChatGPT: A Critical Analysis of AI-Generated Goal-Oriented Dialogues and Annotations [1.7969777786551426]
  大規模な事前訓練された言語モデルは、プロンプトを通じて高品質なテキストを生成するという前例のない能力を示した。 本稿では,これらのモデルが目標指向対話を生成・注釈する可能性を探究し,その品質を評価するための詳細な分析を行う。 広範囲な人間による評価に基づいて、生成した対話やアノテーションの質が、人間が生成したものと同等であることを示す。
  論文  参考訳（メタデータ） (2023-05-23T22:31:01Z)
• SHINE: Syntax-augmented Hierarchical Interactive Encoder for Zero-shot Cross-lingual Information Extraction [47.88887327545667]
  本研究では,構文拡張型階層型インタラクティブエンコーダ(SHINE)を提案する。 Shineは、特徴とコンテキスト情報の間の相補的な情報をインタラクティブにキャプチャすることができる。 3つのIEタスクと4つのベンチマークで7つの言語で実験を行い、提案手法の有効性と一般化能力を検証した。
  論文  参考訳（メタデータ） (2023-05-21T08:02:06Z)
• Approach Intelligent Writing Assistants Usability with Seven Stages of Action [9.378355457555319]
  我々は,知的書記アシスタントのインタラクション設計にアプローチするための枠組みとして,ノーマンの7つの行動段階を採用する。 ソフトウェアチュートリアルのオーサリングの例として,タスク記述へのフレームワークの適用性について説明する。
  論文  参考訳（メタデータ） (2023-04-06T02:11:55Z)
• Large Language Models Meet Harry Potter: A Bilingual Dataset for Aligning Dialogue Agents with Characters [70.84938803753062]
  本稿では,対話エージェントと文字アライメントの研究を進めるために設計されたHarry Potter Dialogueデータセットを紹介する。 このデータセットはハリー・ポッターシリーズのすべての対話セッション(英語と中国語の両方)を含んでいる。 対話シーン、話者、人物関係、属性など、重要な背景情報とともに注釈付けされている。
  論文  参考訳（メタデータ） (2022-11-13T10:16:39Z)
• KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
  対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。 本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
  論文  参考訳（メタデータ） (2022-05-11T16:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。