論文の概要: Does a Large Language Model Really Speak in Human-Like Language?
- arxiv url: http://arxiv.org/abs/2501.01273v1
- Date: Thu, 02 Jan 2025 14:13:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-05 16:54:32.263941
- Title: Does a Large Language Model Really Speak in Human-Like Language?
- Title（参考訳）: 大規模言語モデルは本当に人間のような言語で話すのか?
- Authors: Mose Park, Yunjin Choi, Jong-June Jeon,
- Abstract要約: 大規模言語モデル(LLM)が最近登場し、非常に自然で人間らしいテキストを生成する能力によって、かなりの注目を集めている。
本研究では,LLM生成テキストと人文テキストの潜在コミュニティ構造を比較した。
以上の結果から,GPT生成テキストは人為的なテキストとは相変わらず異なることが示唆された。
- 参考スコア（独自算出の注目度）: 0.5735035463793009
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have recently emerged, attracting considerable attention due to their ability to generate highly natural, human-like text. This study compares the latent community structures of LLM-generated text and human-written text within a hypothesis testing procedure. Specifically, we analyze three text sets: original human-written texts ($\mathcal{O}$), their LLM-paraphrased versions ($\mathcal{G}$), and a twice-paraphrased set ($\mathcal{S}$) derived from $\mathcal{G}$. Our analysis addresses two key questions: (1) Is the difference in latent community structures between $\mathcal{O}$ and $\mathcal{G}$ the same as that between $\mathcal{G}$ and $\mathcal{S}$? (2) Does $\mathcal{G}$ become more similar to $\mathcal{O}$ as the LLM parameter controlling text variability is adjusted? The first question is based on the assumption that if LLM-generated text truly resembles human language, then the gap between the pair ($\mathcal{O}$, $\mathcal{G}$) should be similar to that between the pair ($\mathcal{G}$, $\mathcal{S}$), as both pairs consist of an original text and its paraphrase. The second question examines whether the degree of similarity between LLM-generated and human text varies with changes in the breadth of text generation. To address these questions, we propose a statistical hypothesis testing framework that leverages the fact that each text has corresponding parts across all datasets due to their paraphrasing relationship. This relationship enables the mapping of one dataset's relative position to another, allowing two datasets to be mapped to a third dataset. As a result, both mapped datasets can be quantified with respect to the space characterized by the third dataset, facilitating a direct comparison between them. Our results indicate that GPT-generated text remains distinct from human-authored text.
- Abstract（参考訳）: 大規模言語モデル(LLM)が最近登場し、非常に自然で人間らしいテキストを生成する能力によって、かなりの注目を集めている。
本研究では,LLM生成テキストと人文テキストの仮説テスト手法における潜在コミュニティ構造を比較した。
具体的には、オリジナルテキスト(\mathcal{O}$)、LLMパラフレーズバージョン(\mathcal{G}$)、および$\mathcal{G}$から派生した2つのパラフレーズセット(\mathcal{S}$)の3つのテキストセットを分析する。
1) $\mathcal{O}$ と $\mathcal{G}$ は $\mathcal{G}$ と $\mathcal{S}$ の差と同じなのか?
(2)$\mathcal{G}$は、テキストの可変性を制御するLLMパラメータが調整されるので、$\mathcal{O}$とよりよく似ていますか?
最初の質問は、LLM生成したテキストが本当に人間の言語に似ていた場合、ペア($\mathcal{O}$, $\mathcal{G}$)とペア($\mathcal{G}$, $\mathcal{S}$)のギャップは、両方のペアが元のテキストとパラフレーズで構成されているため、ペア($\mathcal{O}$, $\mathcal{G}$)と類似しているべきであるという仮定に基づいている。
第2の質問は、LLM生成と人文の類似度が、テキスト生成の幅の変化とともに変化するかどうかを検討する。
これらの問題に対処するために,各テキストがパラフレージング関係のため,すべてのデータセットに対応する部分を持つという事実を活用する統計的仮説テストフレームワークを提案する。
この関係により、あるデータセットの相対的な位置を別のデータセットにマッピングすることができ、2つのデータセットを第3のデータセットにマッピングすることができる。
結果として、両方のマップされたデータセットは、第3のデータセットによって特徴づけられる空間に関して定量化され、それらの間の直接比較が容易になる。
以上の結果から,GPT生成テキストは人為的なテキストとは相変わらず異なることが示唆された。
関連論文リスト
- QUDsim: Quantifying Discourse Similarities in LLM-Generated Text [70.22275200293964]
本稿では,会話の進行過程の違いの定量化を支援するために,言語理論に基づくQUDと質問意味論を紹介する。
このフレームワークを使って$textbfQUDsim$を作ります。
QUDsimを用いて、コンテンツが異なる場合であっても、LLMはサンプル間で(人間よりも)談話構造を再利用することが多い。
論文 参考訳（メタデータ） (2025-04-12T23:46:09Z) - Language Models May Verbatim Complete Text They Were Not Explicitly Trained On [97.3414396208613]
我々は、$n$-gram ベースのメンバシップ定義を効果的にゲームできることを示す。
会員定義に対して$n$の1つの実行可能な選択を見つけることは困難であることを示す。
以上の結果から,n$-gramの会員シップが不十分であることが示唆された。
論文 参考訳（メタデータ） (2025-03-21T19:57:04Z) - The Magnitude of Categories of Texts Enriched by Language Models [1.8416014644193064]
我々は、自然言語におけるテキストのカテゴリの$[0,1]$-enrichmentを定義するために、言語モデルが与える次の確率を使います。
我々は、M"obius関数と、関連する一般化空間$mathcalM$のテキストの大きさを計算する。
論文 参考訳（メタデータ） (2025-01-11T23:28:50Z) - Zero-Shot Statistical Tests for LLM-Generated Text Detection using Finite Sample Concentration Inequalities [13.657259851747126]
コンテンツの証明は、教育機関、ソーシャルメディアプラットフォーム、企業など、多くの組織の機能に不可欠である。
LLM(Large Language Models)が生成するテキストが、人間が生成したコンテンツとほとんど区別できないようになるにつれて、この問題はますます難しくなってきている。
テキスト長の増加に伴い,テストのI型およびII型エラーが指数関数的に減少することを示す。
我々の研究は、有害または偽のLCM生成テキストの起源を確実に発見することを可能にし、新たなAI規制に対する誤った情報やコンプライアンスに対抗するのに役立ちます。
論文 参考訳（メタデータ） (2025-01-04T23:51:43Z) - Reasoning to Attend: Try to Understand How <SEG> Token Works [44.33848900059659]
我々は、$texttSEG>$ tokenが画像とテキストのペア内のセマンティックな類似性に寄与していることを示す。
本稿では,高活性点の誘導の下で,LMMの高強度な$textbfREA$soning機能を実現するREADを提案する。
論文 参考訳（メタデータ） (2024-12-23T17:44:05Z) - Federated UCBVI: Communication-Efficient Federated Regret Minimization with Heterogeneous Agents [13.391318494060975]
We present the Federated upper Confidence bound Value Iteration algorithm (textttFed-UCBVI$)
textttFed-UCBVI$ の後悔は $tildemathcalO(sqrtH3 |mathcalS| |mathcalA| T / M)$ としてスケールすることを証明する。
既存の強化学習アプローチとは異なり、$textttFed-UCBVI$の通信複雑性は、その数によってわずかに増加する。
論文 参考訳（メタデータ） (2024-10-30T11:05:50Z) - Evaluating $n$-Gram Novelty of Language Models Using Rusty-DAWG [57.14250086701313]
本研究では,現代のLMがトレーニングデータから$n$-gramを生成できる範囲について検討する。
我々は,ゲノムデータのインデックス化にインスパイアされた新しい検索ツールであるRusty-DAWGを開発した。
論文 参考訳（メタデータ） (2024-06-18T21:31:19Z) - Creating an AI Observer: Generative Semantic Workspaces [4.031100721019478]
我々は、$textbf[G]$enerative $textbf[S]$emantic $textbf[W]$orkspace (GSW)を紹介します。
GSWは、伝統的に定義されたレキシコンラベルのセットとは対照的に、生成的なスタイルのセマンティックフレームワークを作成する。
論文 参考訳（メタデータ） (2024-06-07T00:09:13Z) - Transformer In-Context Learning for Categorical Data [51.23121284812406]
我々は、分類結果、非線形基礎モデル、非線形注意を考慮し、文脈内学習のレンズを通してトランスフォーマーを理解する研究を機能データで拡張する。
我々は、ImageNetデータセットを用いて、この数発の学習方法論の最初の実世界の実演であると考えられるものを提示する。
論文 参考訳（メタデータ） (2024-05-27T15:03:21Z) - Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens [138.36729703589512]
神経大言語モデル(LLM)の時代には,$n$-gramの言語モデルがいまだに関係していることを示す。
これは、2つの側面で$n$-gramのLMを近代化することで実現された。まず、ニューラルネットワークLLMと同じデータスケールでトレーニングする -- 5兆トークン。
次に、既存の$n$-gram LMは、そのパフォーマンスを妨げる小さな$n$を使用します。
論文 参考訳（メタデータ） (2024-01-30T19:03:49Z) - $\textit{Swap and Predict}$ -- Predicting the Semantic Changes in Words
across Corpora by Context Swapping [36.10628959436778]
目的語である$w$が2つの異なるテキストコーパス間の意味を変えるかどうかを予測する問題を考える。
本稿では,$mathcalC$と$mathcalC$をランダムに交換する教師なしの手法を提案する。
提案手法は,英文意味変化予測タスクの強いベースラインに比べて,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2023-10-16T13:39:44Z) - Understanding Dataset Difficulty with $\mathcal{V}$-Usable Information [67.25713071340518]
データセットの難しさを推定するには、通常、最先端のモデルを人間と比較する。
我々は$mathcalV$-$textitusable情報がないとしてデータセットの難しさを補っている。
また、個々のインスタンスの難易度を測定するために、$textitpointwise $mathcalV$-information$ (PVI)を導入します。
論文 参考訳（メタデータ） (2021-10-16T00:21:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。