論文の概要: Shallow Synthesis of Knowledge in GPT-Generated Texts: A Case Study in
Automatic Related Work Composition
- arxiv url: http://arxiv.org/abs/2402.12255v1
- Date: Mon, 19 Feb 2024 16:14:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 15:50:48.744809
- Title: Shallow Synthesis of Knowledge in GPT-Generated Texts: A Case Study in
Automatic Related Work Composition
- Title（参考訳）: GPT生成テキストにおける知識の不足合成--自動作業合成を事例として
- Authors: Anna Martin-Boyle, Aahan Tyagi, Marti A. Hearst, and Dongyeop Kang
- Abstract要約: そこで我々は,ScholaCite を用いたAIを活用した学術著作の分析を行った。
提案手法は,テキスト中の引用の構造的複雑さと相互接続性を評価するために,引用グラフの解析に重点を置いている。
GPT-4はブレインストーミングにおいて人間のユーザを支援するために適切な粗い引用グループを生成できるが、人間の介入なしに関連する作品の詳細な合成を行うことができない。
- 参考スコア（独自算出の注目度）: 21.880886139620127
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Numerous AI-assisted scholarly applications have been developed to aid
different stages of the research process. We present an analysis of AI-assisted
scholarly writing generated with ScholaCite, a tool we built that is designed
for organizing literature and composing Related Work sections for academic
papers. Our evaluation method focuses on the analysis of citation graphs to
assess the structural complexity and inter-connectedness of citations in texts
and involves a three-way comparison between (1) original human-written texts,
(2) purely GPT-generated texts, and (3) human-AI collaborative texts. We find
that GPT-4 can generate reasonable coarse-grained citation groupings to support
human users in brainstorming, but fails to perform detailed synthesis of
related works without human intervention. We suggest that future writing
assistant tools should not be used to draft text independently of the human
author.
- Abstract（参考訳）: 研究プロセスのさまざまな段階を支援するために、多くのAI支援学術応用が開発されている。
本稿では,学術論文の文献の整理と関連作業部の構成を目的としたツールであるScholaCiteを用いて,AIを活用した学術著作の分析を行う。
本評価法は,文章中の引用文の構造的複雑さと相互接続性を評価するための引用グラフの解析に焦点をあて,(1)原文テキスト,(2)純GPT生成テキスト,(3)人・AI協調テキストの3方向比較を行う。
GPT-4はブレインストーミングにおいて人間のユーザを支援するために適切な粗い引用グループを生成できるが、人間の介入なしに関連する作品の詳細な合成を行うことができない。
今後,人間の著作者とは独立して文章の書き起こしを行うツールが使われるべきではないことを示唆する。
関連論文リスト
- Differentiating between human-written and AI-generated texts using linguistic features automatically extracted from an online computational tool [0.0]
本研究の目的は,AIが人間の文章をエミュレートする能力を評価することにある。
人間の発話を模倣したAI生成テキストが現れるにもかかわらず、結果は複数の言語的特徴に有意な差が認められた。
論文 参考訳（メタデータ） (2024-07-04T05:37:09Z) - Re3: A Holistic Framework and Dataset for Modeling Collaborative Document Revision [62.12545440385489]
共同文書リビジョンを共同で分析するためのフレームワークであるRe3を紹介する。
本稿では,Re3-Sciについて紹介する。Re3-Sciは,その行動と意図に応じて手動でラベル付けされた科学的論文の大規模なコーパスである。
我々は,新しいデータを用いて,学術領域における共同文書改訂に関する実証的研究を行った。
論文 参考訳（メタデータ） (2024-05-31T21:19:09Z) - Automatic and Human-AI Interactive Text Generation [27.05024520190722]
本チュートリアルは、最先端の自然言語生成研究の概要を提供する。
テキストからテキストへの生成タスクは、セマンティック一貫性とターゲット言語スタイルの観点からより制約される。
論文 参考訳（メタデータ） (2023-10-05T20:26:15Z) - Towards Automatic Boundary Detection for Human-AI Collaborative Hybrid
Essay in Education [10.606131520965604]
本研究では,滅多に調査されていない現実的な環境下でのAIコンテンツ検出について検討する。
まず,人書きコンテンツとAI生成コンテンツ間の遷移点の同定として,検出タスクを定式化した。
次に、エンコーダトレーニングプロセス中にAI生成コンテンツと人書きコンテンツとを分離する2段階のアプローチを提案した。
論文 参考訳（メタデータ） (2023-07-23T08:47:51Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳（メタデータ） (2023-04-10T17:47:39Z) - Synthetically generated text for supervised text analysis [5.71097144710995]
テキスト生成の概念的概要、研究者が合成テキストを生成するための異なるテクニックをいつ選択すべきかに関するガイダンス、倫理に関する議論、および合成テキストの品質向上のための簡単なテクニックを提供する。
本稿では,ウクライナにおける戦闘を記述した合成ツイートの生成,イベント検出システムの訓練のための特定の政治事象を記述した合成ニュース記事,文レベルポピュリズム分類器の訓練のためのポピュリスト宣言文の多言語コーパスの3つの応用例を用いて,合成テキストの有用性を示す。
論文 参考訳（メタデータ） (2023-03-28T14:55:13Z) - An Inclusive Notion of Text [69.36678873492373]
テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。
言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
論文 参考訳（メタデータ） (2022-11-10T14:26:43Z) - Revise and Resubmit: An Intertextual Model of Text-based Collaboration
in Peer Review [52.359007622096684]
ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。
既存のNLP研究は個々のテキストの分析に重点を置いている。
編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。
論文 参考訳（メタデータ） (2022-04-22T16:39:38Z) - CoAuthor: Designing a Human-AI Collaborative Writing Dataset for
Exploring Language Model Capabilities [92.79451009324268]
我々は,GPT-3の創造的かつ議論的な記述を支援する能力を明らかにするために設計されたデータセットであるCoAuthorを提案する。
我々は、CoAuthorがGPT-3の言語、アイデア、コラボレーション機能に関する問題に対処できることを実証した。
インタラクション設計に関して,この作業がLMの約束や落とし穴に関して,より原則化された議論を促進する可能性について論じる。
論文 参考訳（メタデータ） (2022-01-18T07:51:57Z) - What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。
本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。
本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
論文 参考訳（メタデータ） (2020-11-06T02:23:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。