論文の概要: AI as Humanity's Salieri: Quantifying Linguistic Creativity of Language Models via Systematic Attribution of Machine Text against Web Text
- arxiv url: http://arxiv.org/abs/2410.04265v1
- Date: Sat, 5 Oct 2024 18:55:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 08:49:52.170626
- Title: AI as Humanity's Salieri: Quantifying Linguistic Creativity of Language Models via Systematic Attribution of Machine Text against Web Text
- Title（参考訳）: 人文科学のサリエリとしてのAI : Webテキストに対する機械テキストの体系的属性による言語モデルの言語的創造性の定量化
- Authors: Ximing Lu, Melanie Sclar, Skyler Hallinan, Niloofar Mireshghallah, Jiacheng Liu, Seungju Han, Allyson Ettinger, Liwei Jiang, Khyathi Chandu, Nouha Dziri, Yejin Choi,
- Abstract要約: 本稿では、テキストの言語的創造性を定量化する第一歩として、CREATIVITY INDEXを提案する。
CREATIVITY INDEXを効率的に計算するために,新しい動的プログラミングアルゴリズムであるDJ SEARCHを導入する。
実験の結果、プロの人間作家のCreativity INDEXはLLMよりも平均66.2%高いことが判明した。
- 参考スコア（独自算出の注目度）: 53.15652021126663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creativity has long been considered one of the most difficult aspect of human intelligence for AI to mimic. However, the rise of Large Language Models (LLMs), like ChatGPT, has raised questions about whether AI can match or even surpass human creativity. We present CREATIVITY INDEX as the first step to quantify the linguistic creativity of a text by reconstructing it from existing text snippets on the web. CREATIVITY INDEX is motivated by the hypothesis that the seemingly remarkable creativity of LLMs may be attributable in large part to the creativity of human-written texts on the web. To compute CREATIVITY INDEX efficiently, we introduce DJ SEARCH, a novel dynamic programming algorithm that can search verbatim and near-verbatim matches of text snippets from a given document against the web. Experiments reveal that the CREATIVITY INDEX of professional human authors is on average 66.2% higher than that of LLMs, and that alignment reduces the CREATIVITY INDEX of LLMs by an average of 30.1%. In addition, we find that distinguished authors like Hemingway exhibit measurably higher CREATIVITY INDEX compared to other human writers. Finally, we demonstrate that CREATIVITY INDEX can be used as a surprisingly effective criterion for zero-shot machine text detection, surpassing the strongest existing zero-shot system, DetectGPT, by a significant margin of 30.2%, and even outperforming the strongest supervised system, GhostBuster, in five out of six domains.
- Abstract（参考訳）: 創造性は、AIが模倣する人間の知能の最も難しい側面の1つと考えられてきた。
しかし、ChatGPTのようなLarge Language Models(LLMs)の台頭は、AIが人間の創造性にマッチするか、さらに超えるかを疑問視している。
本稿では,Web上の既存のテキストスニペットからテキストを再構築することにより,テキストの言語的創造性を定量化する第一歩として,CREATIVITY INDEXを提案する。
CREATIVITY INDEXは、LLMの目覚ましい創造性は、ウェブ上の人文テキストの創造性に大きく寄与する可能性があるという仮説に動機付けられている。
DJ SEARCHは,与えられた文書からWebに対して,テキストスニペットの動詞の一致とほぼ動詞の一致を検索できる,新しい動的プログラミングアルゴリズムである。
実験により、専門家の人間作家のCratiivity INDEXは平均66.2%高く、アライメントによってLLMのCREatiivity INDEXが平均30.1%減少することが明らかとなった。
さらに,ヘミングウェイのような著名な作家は,他の人間作家と比較して,極めて高い評価率を示した。
最後に、CREATIVITY INDEXは、ゼロショットマシンのテキスト検出において驚くほど効果的な基準として利用でき、既存の最強のゼロショットシステムであるTectGPTを30.2%上回り、最強の教師システムであるGhostBusterを6つのドメインのうち5つで上回っていることを実証した。
関連論文リスト
- Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。
本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
論文 参考訳（メタデータ） (2024-10-04T18:42:09Z) - Inclusivity in Large Language Models: Personality Traits and Gender Bias in Scientific Abstracts [49.97673761305336]
我々は,3つの大きな言語モデル (LLM) を,人間の物語スタイルと潜在的な性別バイアスに適合させることで評価した。
以上の結果から,これらのモデルは一般的にヒトの投稿内容によく似たテキストを生成するが,スタイル的特徴の変化は有意な性差を示すことが示唆された。
論文 参考訳（メタデータ） (2024-06-27T19:26:11Z) - Investigating Wit, Creativity, and Detectability of Large Language Models in Domain-Specific Writing Style Adaptation of Reddit's Showerthoughts [17.369951848952265]
ショーア思想の領域において,LLMが人間の書体スタイルを簡潔で創造的なテキストで再現する能力について検討する。
創造的で機知に富んだテキストの品質を考慮に入れた、特定の次元のテキストに対する人間の嗜好を測定する。
人間の評価者は、生成したテキストの創造性について平均的にわずかに悪い評価を下すが、人間の文章とAI生成したテキストを確実に区別することはできないと結論付けている。
論文 参考訳（メタデータ） (2024-05-02T18:29:58Z) - Deep Learning Detection Method for Large Language Models-Generated
Scientific Content [0.0]
大規模言語モデルは、人間が書いたものと区別できない科学的内容を生成する。
本稿では,ChatGPTを用いた科学テキスト検出手法であるAI-Catcherを提案する。
AI-Catcherの精度は平均37.4%向上した。
論文 参考訳（メタデータ） (2024-02-27T19:16:39Z) - Raidar: geneRative AI Detection viA Rewriting [42.477151044325595]
大規模な言語モデル(LLM)は、書き直しのタスクを行う場合、AI生成テキストよりも人間の書き起こしテキストを変更する傾向にある。
テキストの書き直しを LLM に促し,出力の編集距離を計算することで,AI 生成コンテンツを検出する手法を提案する。
この結果から,機械自体のレンズを通した機械生成テキストのユニークなインプリントが明らかになった。
論文 参考訳（メタデータ） (2024-01-23T18:57:53Z) - The Imitation Game: Detecting Human and AI-Generated Texts in the Era of
ChatGPT and BARD [3.2228025627337864]
異なるジャンルの人文・AI生成テキストのデータセットを新たに導入する。
テキストを分類するために、いくつかの機械学習モデルを使用します。
結果は、人間とAIが生成したテキストを識別する上で、これらのモデルの有効性を示す。
論文 参考訳（メタデータ） (2023-07-22T21:00:14Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-27T10:40:59Z) - Exploring AI-Generated Text in Student Writing: How Does AI Help? [0.0]
これらの学生の執筆において、AIが生成したテキストがどの程度高品質な執筆に繋がるかは、まだ不明である。
香港の23人の中学生が自語とAI生成テキストからなる物語を書こうと試みた。
論文 参考訳（メタデータ） (2023-03-10T14:36:47Z) - Visualize Before You Write: Imagination-Guided Open-Ended Text
Generation [68.96699389728964]
我々は、機械生成画像を用いて、オープンエンドテキスト生成における言語モデルをガイドするiNLGを提案する。
オープンエンドテキスト生成タスクにおけるiNLGの有効性について実験と解析を行った。
論文 参考訳（メタデータ） (2022-10-07T18:01:09Z) - Enabling Language Models to Fill in the Blanks [81.59381915581892]
文書中の任意の位置にあるテキストの欠落を予測するタスクである,テキストを埋め込むためのシンプルなアプローチを提案する。
我々は、人工的にマスキングされたテキストと隠蔽されたテキストの連結を含むシーケンスに基づいて、オフザシェルフ言語モデル(またはファインチューン)を訓練する。
言語モデリングにより,この手法により,3つの分野(短編,科学的な要約,歌詞)において,LMが文全体を効果的に埋め込むことができることを示す。
論文 参考訳（メタデータ） (2020-05-11T18:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。