論文の概要: QUDsim: Quantifying Discourse Similarities in LLM-Generated Text

• arxiv url: http://arxiv.org/abs/2504.09373v1
• Date: Sat, 12 Apr 2025 23:46:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:06.822140
• Title: QUDsim: Quantifying Discourse Similarities in LLM-Generated Text
• Title（参考訳）: QUDsim: LLM生成テキストにおける談話類似性の定量化
• Authors: Ramya Namuduri, Yating Wu, Anshun Asher Zheng, Manya Wadhwa, Greg Durrett, Junyi Jessy Li,
• Abstract要約: 本稿では,会話の進行過程の違いの定量化を支援するために,言語理論に基づくQUDと質問意味論を紹介する。 このフレームワークを使って$textbfQUDsim$を作ります。 QUDsimを用いて、コンテンツが異なる場合であっても、LLMはサンプル間で(人間よりも)談話構造を再利用することが多い。
• 参考スコア（独自算出の注目度）: 70.22275200293964
• License:
• Abstract: As large language models become increasingly capable at various writing tasks, their weakness at generating unique and creative content becomes a major liability. Although LLMs have the ability to generate text covering diverse topics, there is an overall sense of repetitiveness across texts that we aim to formalize and quantify via a similarity metric. The familiarity between documents arises from the persistence of underlying discourse structures. However, existing similarity metrics dependent on lexical overlap and syntactic patterns largely capture $\textit{content}$ overlap, thus making them unsuitable for detecting $\textit{structural}$ similarities. We introduce an abstraction based on linguistic theories in Questions Under Discussion (QUD) and question semantics to help quantify differences in discourse progression. We then use this framework to build $\textbf{QUDsim}$, a similarity metric that can detect discursive parallels between documents. Using QUDsim, we find that LLMs often reuse discourse structures (more so than humans) across samples, even when content differs. Furthermore, LLMs are not only repetitive and structurally uniform, but are also divergent from human authors in the types of structures they use.
• Abstract（参考訳）: 大規模言語モデルが様々な記述タスクでますます能力を持つようになると、ユニークでクリエイティブなコンテンツを生成する際の弱点が大きな負債となる。 LLMは多様なトピックをカバーしたテキストを生成する能力を持っているが、類似度測定によって形式化と定量化を目指すテキスト間では、全体的な反復感がある。 文書間の親和性は、下層の談話構造の持続性から生じる。 しかし、既存の類似度指標は語彙的重複と構文的パターンに大きく依存しており、$\textit{content}$重複を捉えているため、$\textit{structural}$類似度を検出するには不適当である。 本稿では,会話の進行過程の差異を定量化するために,言語理論に基づくQUDと質問意味論を紹介する。 このフレームワークを使って$\textbf{QUDsim}$を構築します。 QUDsimを用いて、コンテンツが異なる場合であっても、LLMはサンプル間で(人間よりも)談話構造を再利用することが多い。 さらに、LLMは反復的かつ構造的に一様であるだけでなく、使用する構造の種類において、人間の作者から切り離されている。

関連論文リスト

• SynthesizRR: Generating Diverse Datasets with Retrieval Augmentation [55.2480439325792]
  トピック分類,感情分析,トーン検出,ユーモアの6つのデータセットの合成について検討した。 その結果,SynthesizRRは語彙や意味の多様性,人文との類似性,蒸留性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-16T12:22:41Z)
• Threads of Subtlety: Detecting Machine-Generated Texts Through Discourse Motifs [19.073560504913356]
  人造テキストと機械生成テキストの境界線は、ますますぼやけつつある。 本稿は,人間によって書かれたテキストにおいて,識別可能な言語的特徴と独特な言語的特性を識別する調査について述べる。
  論文  参考訳（メタデータ） (2024-02-16T11:20:30Z)
• How Abstract Is Linguistic Generalization in Large Language Models? Experiments with Argument Structure [2.530495315660486]
  本研究では,事前学習したトランスフォーマーに基づく大規模言語モデルがコンテキスト間の関係を表現する程度について検討する。 LLMは、関連する文脈間の新しい名詞引数の分布を一般化する上で、よく機能することがわかった。 しかし、LCMは事前学習中に観測されていない関連するコンテキスト間の一般化に失敗する。
  論文  参考訳（メタデータ） (2023-11-08T18:58:43Z)
• On the Relationship between Sentence Analogy Identification and Sentence Structure Encoding in Large Language Models [7.716762867270514]
  文の類似を捕捉するLarge Language Modelsの能力は,構文構造と意味構造をエンコードする能力によってどのように異なるかを検討する。 構文構造をよりよく捉えたLLMは,文の類似を識別する能力も高いことがわかった。
  論文  参考訳（メタデータ） (2023-10-11T18:59:48Z)
• An Investigation of LLMs' Inefficacy in Understanding Converse Relations [30.94718664430869]
  本稿では,知識グラフ補完データセットから抽出した17の関係と1240のトリプルを含む,逆関係に着目した新しいベンチマークであるConvReを紹介する。 我々のConvREは2つのタスク、Re2TextとText2Reを備えており、LLMが関連テキストと関連するテキストのマッチングを判定する能力を評価するために、多選択質問応答として定式化されている。
  論文  参考訳（メタデータ） (2023-10-08T13:45:05Z)
• Description-Based Text Similarity [59.552704474862004]
  我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。 そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-21T17:14:31Z)
• Measuring Reliability of Large Language Models through Semantic Consistency [3.4990427823966828]
  我々は,オープンなテキスト出力の比較を可能にする意味的一貫性の尺度を開発した。 我々は,この整合度尺度のいくつかのバージョンを実装し,パラフレーズ化した質問に対して,複数のPLMの性能を評価する。
  論文  参考訳（メタデータ） (2022-11-10T20:21:07Z)
• FastKASSIM: A Fast Tree Kernel-Based Syntactic Similarity Metric [48.66580267438049]
  我々は,発話レベルと文書レベルの構文的類似性の指標であるFastKASSIMを提案する。 ツリーカーネルに基づいたドキュメントのペア間で、最も類似した依存関係解析ツリーをペア化し、平均化する。 r/ChangeMyViewコーパス内のドキュメントのベースラインメソッドよりも最大5.2倍高速に動作します。
  論文  参考訳（メタデータ） (2022-03-15T22:33:26Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。