論文の概要: Does Writing with Language Models Reduce Content Diversity?
- arxiv url: http://arxiv.org/abs/2309.05196v2
- Date: Wed, 6 Mar 2024 20:48:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 17:54:56.437970
- Title: Does Writing with Language Models Reduce Content Diversity?
- Title(参考訳): 言語モデルによる記述はコンテンツの多様性を減少させるか?
- Authors: Vishakh Padmakumar, He He
- Abstract要約: 大規模言語モデル(LLM)は、モデルアシストによる協調的な記述の急増につながっている。
異なるユーザが同じモデルから提案を取り入れているため、生成したコンテンツの多様性が低下するリスクがある。
多様性指標のセットを開発し,InstructGPTによる記述は(GPT3ではなく)統計的に有意な多様性低下をもたらすことを示した。
- 参考スコア(独自算出の注目度): 19.161854080546984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have led to a surge in collaborative writing
with model assistance. As different users incorporate suggestions from the same
model, there is a risk of decreased diversity in the produced content,
potentially limiting diverse perspectives in public discourse. In this work, we
measure the impact of co-writing on diversity via a controlled experiment,
where users write argumentative essays in three setups -- using a base LLM
(GPT3), a feedback-tuned LLM (InstructGPT), and writing without model help. We
develop a set of diversity metrics and find that writing with InstructGPT (but
not the GPT3) results in a statistically significant reduction in diversity.
Specifically, it increases the similarity between the writings of different
authors and reduces the overall lexical and content diversity. We additionally
find that this effect is mainly attributable to InstructGPT contributing less
diverse text to co-written essays. In contrast, the user-contributed text
remains unaffected by model collaboration. This suggests that the recent
improvement in generation quality from adapting models to human feedback might
come at the cost of more homogeneous and less diverse content.
- Abstract(参考訳): 大規模言語モデル(llm)は、モデル支援による共同執筆の急増につながった。
異なるユーザーが同じモデルからの提案を取り入れているため、コンテンツの多様性が低下するリスクがあり、公の会話における多様な視点を制限する可能性がある。
そこで,本研究では,ベースllm(gpt3),フィードバック調整されたllm(instructgpt),モデルヘルプのない書き込みという,3つの設定で議論的なエッセイを書いている。
多様性指標のセットを開発し,InstructGPTによる記述は(GPT3ではなく)統計的に有意な多様性低下をもたらすことを示した。
具体的には、異なる著者の著作物間の類似性を高め、全体的な語彙や内容の多様性を減らす。
また、この効果は、主にインストラクションGPTが共著エッセイに多様でないテキストに寄与することに起因する。
対照的に、ユーザ貢献型テキストはモデルコラボレーションの影響を受けないままである。
これは、モデル適応から人間のフィードバックへの世代品質の改善が、より均質でより多様なコンテンツのコストを伴っていることを示唆している。
関連論文リスト
- Improving Demonstration Diversity by Human-Free Fusing for Text-to-SQL [55.2326738851157]
本稿では,テキスト・ツー・ダイバーシティ研究における実証の多様性を計測し,改善する方法について論じる。
我々は,高多様性のデモンストレーションプールを構築するために,デモ(Fused)のために反復的に融合することを提案する。
本手法は,複数の主流データセットにラベルを付けることなく,平均3.2%と5.0%の改善を実現する。
論文 参考訳(メタデータ) (2024-02-16T13:13:18Z) - Effects of diversity incentives on sample diversity and downstream model
performance in LLM-based text augmentation [6.647958966528349]
クラウドソーシングにおいて確立された3つのテキスト多様性インセンティブ手法について検討する。
タブー語によって多様性が最も増大することが示されるが、下流モデルの性能はヒントを伴って最高である。
論文 参考訳(メタデータ) (2024-01-12T15:46:43Z) - Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。
我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。
このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
論文 参考訳(メタデータ) (2023-10-10T09:20:14Z) - AI, write an essay for me: A large-scale comparison of human-written
versus ChatGPT-generated essays [66.36541161082856]
ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。
本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
論文 参考訳(メタデータ) (2023-04-24T12:58:28Z) - Exploring Diversity in Back Translation for Low-Resource Machine
Translation [85.03257601325183]
バックトランスフォーメーションは、ニューラルマシントランスフォーメーションシステムの性能を改善するために最も広く使われている手法の1つである。
近年の研究では、生成された翻訳の「多様性」を増大させることにより、この手法の有効性を高めることを目指している。
この研究は、トレーニングデータの多様性を理解し、それを語彙的多様性と構文的多様性に分割する、より微妙なフレームワークを推し進めている。
論文 参考訳(メタデータ) (2022-06-01T15:21:16Z) - Semantic Diversity in Dialogue with Natural Language Inference [19.74618235525502]
本稿では,対話生成における多様性向上に2つの重要な貢献をする。
まず、自然言語推論(NLI)を用いて、会話に対するモデル応答の集合のセマンティック多様性を測定する新しいメトリクスを提案する。
第2に,多様性閾値生成と呼ばれる新世代の手法を用いて,サンプル化された応答集合のセマンティック多様性を反復的に改善する方法を実証する。
論文 参考訳(メタデータ) (2022-05-03T13:56:32Z) - Neural Text Generation with Part-of-Speech Guided Softmax [82.63394952538292]
テキスト生成を導くために,言語アノテーション,すなわち部分音声(POS)を用いることを提案する。
提案手法は,比較品質を維持しつつ,より多様なテキストを生成できることを示した。
論文 参考訳(メタデータ) (2021-05-08T08:53:16Z) - Multilingual Contextual Affective Analysis of LGBT People Portrayals in
Wikipedia [34.183132688084534]
物語文における特定の語彙選択は、物語の中の人々に対する作家の態度を反映し、聴衆の反応に影響を与える。
言語や文化によって単語の意味がどう異なるかを示し、既存の英語データセットを一般化することの難しさを浮き彫りにしている。
次に、LGBTコミュニティのメンバーのウィキペディアの伝記ページを3つの言語で分析することで、本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-10-21T08:27:36Z) - Evaluating the Evaluation of Diversity in Natural Language Generation [43.05127848086264]
本稿では,自然言語生成システムにおける多様性指標を評価するためのフレームワークを提案する。
当社のフレームワークは,NLGシステムの改善に向けた重要なステップである,さまざまな多様性指標の理解を促進することができる。
論文 参考訳(メタデータ) (2020-04-06T20:44:10Z) - MixPoet: Diverse Poetry Generation via Learning Controllable Mixed
Latent Space [79.70053419040902]
多様な要素を吸収し,多様なスタイルを創出し,多様性を促進する新しいモデルであるMixPoetを提案する。
半教師付き変分オートエンコーダに基づいて、我々のモデルは潜在空間をいくつかの部分空間に切り離し、それぞれが敵の訓練によって1つの影響因子に条件付けされる。
中国詩の実験結果は、MixPoetが3つの最先端モデルに対して多様性と品質の両方を改善していることを示している。
論文 参考訳(メタデータ) (2020-03-13T03:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。