論文の概要: CoAuthor: Designing a Human-AI Collaborative Writing Dataset for
Exploring Language Model Capabilities
- arxiv url: http://arxiv.org/abs/2201.06796v1
- Date: Tue, 18 Jan 2022 07:51:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-20 00:00:44.266750
- Title: CoAuthor: Designing a Human-AI Collaborative Writing Dataset for
Exploring Language Model Capabilities
- Title(参考訳): CoAuthor: 言語モデル機能探索のための人間とAIの協調的な記述データセットの設計
- Authors: Mina Lee, Percy Liang, Qian Yang
- Abstract要約: 我々は,GPT-3の創造的かつ議論的な記述を支援する能力を明らかにするために設計されたデータセットであるCoAuthorを提案する。
我々は、CoAuthorがGPT-3の言語、アイデア、コラボレーション機能に関する問題に対処できることを実証した。
インタラクション設計に関して,この作業がLMの約束や落とし穴に関して,より原則化された議論を促進する可能性について論じる。
- 参考スコア(独自算出の注目度): 92.79451009324268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LMs) offer unprecedented language generation
capabilities and exciting opportunities for interaction design. However, their
highly context-dependent capabilities are difficult to grasp and are often
subjectively interpreted. In this paper, we argue that by curating and
analyzing large interaction datasets, the HCI community can foster more
incisive examinations of LMs' generative capabilities. Exemplifying this
approach, we present CoAuthor, a dataset designed for revealing GPT-3's
capabilities in assisting creative and argumentative writing. CoAuthor captures
rich interactions between 63 writers and four instances of GPT-3 across 1445
writing sessions. We demonstrate that CoAuthor can address questions about
GPT-3's language, ideation, and collaboration capabilities, and reveal its
contribution as a writing "collaborator" under various definitions of good
collaboration. Finally, we discuss how this work may facilitate a more
principled discussion around LMs' promises and pitfalls in relation to
interaction design. The dataset and an interface for replaying the writing
sessions are publicly available at https://coauthor.stanford.edu.
- Abstract(参考訳): 大型言語モデル(lms)は、前例のない言語生成能力と相互作用設計のエキサイティングな機会を提供する。
しかし、文脈に依存した能力は理解が困難であり、しばしば主観的に解釈される。
本稿では,大規模なインタラクションデータセットをキュレートし,分析することで,hciコミュニティがlmsのジェネレーティブ能力のより切迫的な検証を育むことができると論じる。
このアプローチの実証として,創造的かつ議論的な文章作成を支援するGPT-3の能力を明らかにするために設計されたデータセットであるCoAuthorを提案する。
CoAuthorは、63のライターと1445の書き込みセッションでGPT-3の4つのインスタンス間のリッチなインタラクションをキャプチャする。
我々は, GPT-3の言語, アイデア, コラボレーション能力に関する問題に対処できることを実証し, 良質なコラボレーションのさまざまな定義の下で, 共同作業者としての貢献を明らかにした。
最後に、この作業がlmsの約束と相互作用設計に関する落とし穴に関するより原則的な議論をいかに促進するかについて議論する。
書き込みセッションを再生するためのデータセットとインターフェースはhttps://coauthor.stanford.eduで公開されている。
関連論文リスト
- Detecting Any Human-Object Interaction Relationship: Universal HOI
Detector with Spatial Prompt Learning on Foundation Models [55.20626448358655]
本研究では,ビジョン・ランゲージ(VL)基礎モデルと大規模言語モデル(LLM)を用いて,オープンワールド環境におけるユニバーサルインタラクション認識について検討する。
我々の設計にはHO Prompt-guided Decoder (HOPD) が含まれており、基礎モデルにおける高次関係表現と画像内の様々なHOペアとの結合を容易にする。
オープンカテゴリの対話認識では,対話文と解釈文の2つのタイプがサポートされている。
論文 参考訳(メタデータ) (2023-11-07T08:27:32Z) - Creativity Support in the Age of Large Language Models: An Empirical
Study Involving Emerging Writers [33.3564201174124]
経験的ユーザスタディを通じて,プロのライターを支援するため,現代の大規模言語モデルの有用性について検討する。
筆者らは3種類の認知活動の全てにLLMの助けを求める一方で、LLMは翻訳やレビューに役立ちます。
論文 参考訳(メタデータ) (2023-09-22T01:49:36Z) - Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics
Interface of LMs Through Agentivity [68.8204255655161]
このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。
これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
論文 参考訳(メタデータ) (2023-05-29T16:24:01Z) - Unraveling ChatGPT: A Critical Analysis of AI-Generated Goal-Oriented
Dialogues and Annotations [1.7969777786551426]
大規模な事前訓練された言語モデルは、プロンプトを通じて高品質なテキストを生成するという前例のない能力を示した。
本稿では,これらのモデルが目標指向対話を生成・注釈する可能性を探究し,その品質を評価するための詳細な分析を行う。
広範囲な人間による評価に基づいて、生成した対話やアノテーションの質が、人間が生成したものと同等であることを示す。
論文 参考訳(メタデータ) (2023-05-23T22:31:01Z) - SHINE: Syntax-augmented Hierarchical Interactive Encoder for Zero-shot
Cross-lingual Information Extraction [47.88887327545667]
本研究では,構文拡張型階層型インタラクティブエンコーダ(SHINE)を提案する。
Shineは、特徴とコンテキスト情報の間の相補的な情報をインタラクティブにキャプチャすることができる。
3つのIEタスクと4つのベンチマークで7つの言語で実験を行い、提案手法の有効性と一般化能力を検証した。
論文 参考訳(メタデータ) (2023-05-21T08:02:06Z) - Approach Intelligent Writing Assistants Usability with Seven Stages of
Action [9.378355457555319]
我々は,知的書記アシスタントのインタラクション設計にアプローチするための枠組みとして,ノーマンの7つの行動段階を採用する。
ソフトウェアチュートリアルのオーサリングの例として,タスク記述へのフレームワークの適用性について説明する。
論文 参考訳(メタデータ) (2023-04-06T02:11:55Z) - Large Language Models Meet Harry Potter: A Bilingual Dataset for
Aligning Dialogue Agents with Characters [70.84938803753062]
本稿では,対話エージェントと文字アライメントの研究を進めるために設計されたHarry Potter Dialogueデータセットを紹介する。
このデータセットはハリー・ポッターシリーズのすべての対話セッション(英語と中国語の両方)を含んでいる。
対話シーン、話者、人物関係、属性など、重要な背景情報とともに注釈付けされている。
論文 参考訳(メタデータ) (2022-11-13T10:16:39Z) - KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。
本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
論文 参考訳(メタデータ) (2022-05-11T16:01:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。