論文の概要: Measuring AI "Slop" in Text

• arxiv url: http://arxiv.org/abs/2509.19163v1
• Date: Tue, 23 Sep 2025 15:41:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.931448
• Title: Measuring AI "Slop" in Text
• Title（参考訳）: テキストにおけるAI"スロープ"の測定
• Authors: Chantal Shaib, Tuhin Chakrabarty, Diego Garcia-Olano, Byron C. Wallace,
• Abstract要約: 我々は,NLP,著作,哲学の専門家へのインタビューを通じて,「傾斜」の分類法を開発する。 二項の「傾斜」判断は主観的であるが、そのような決定はコヒーレンスや関連性などの潜在次元と相関する。
• 参考スコア（独自算出の注目度）: 22.147480343631667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI "slop" is an increasingly popular term used to describe low-quality AI-generated text, but there is currently no agreed upon definition of this term nor a means to measure its occurrence. In this work, we develop a taxonomy of "slop" through interviews with experts in NLP, writing, and philosophy, and propose a set of interpretable dimensions for its assessment in text. Through span-level annotation, we find that binary "slop" judgments are (somewhat) subjective, but such determinations nonetheless correlate with latent dimensions such as coherence and relevance. Our framework can be used to evaluate AI-generated text in both detection and binary preference tasks, potentially offering new insights into the linguistic and stylistic factors that contribute to quality judgments.
• Abstract（参考訳）: AI"slop"は、低品質のAI生成テキストを記述するために使われるようになった用語だが、現時点では、この用語の定義や、その発生を測定する手段について合意されていない。 本研究は,NLPの専門家へのインタビュー,著作,哲学へのインタビューを通じて「傾斜」の分類法を開発し,テキストによる評価のための解釈可能な次元のセットを提案する。 スパンレベルのアノテーションを通して、二項の「傾斜」判断は主観的であるが、それでもその決定はコヒーレンスや関連性のような潜在次元と相関する。 我々のフレームワークは、検出タスクと二分選好タスクの両方でAI生成したテキストを評価するのに使用することができ、品質判断に寄与する言語的およびスタイリスティックな要素に関する新たな洞察を提供する可能性がある。

関連論文リスト

• CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
  我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。 また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
  論文  参考訳（メタデータ） (2025-08-28T06:03:11Z)
• Latent Space Interpretation for Stylistic Analysis and Explainable Authorship Attribution [37.39889080833109]
  最近の最先端の著者帰属法は、潜在的で非解釈可能な空間におけるテキストの著者表現を学習する。 本研究は,潜伏空間における代表点を特定することによって,これらの学習された埋め込みを解釈する新しい手法を提案する。 我々は各点の書き方に関する情報的な自然言語記述を生成する。
  論文  参考訳（メタデータ） (2024-09-11T07:48:06Z)
• Evaluating Span Extraction in Generative Paradigm: A Reflection on Aspect-Based Sentiment Analysis [7.373480417322289]
  本稿では,生成パラダイムがもたらす課題について述べる。 生成的アウトプットと他の評価指標の整合性に関わる複雑さを強調します。 我々の貢献は、この生成パラダイムにおけるABSA評価に適した包括的ガイドラインの整備にある。
  論文  参考訳（メタデータ） (2024-04-17T16:33:22Z)
• BBScore: A Brownian Bridge Based Metric for Assessing Text Coherence [18.77248934443666]
  コヒーレントテキストは本質的に文間の連続的かつ密着的な相互作用を示す。 BBScore(英: BBScore)は、ブラウン橋理論において、テキストコヒーレンスを評価するための基準のない計量である。
  論文  参考訳（メタデータ） (2023-12-28T08:34:17Z)
• Automated Evaluation of Personalized Text Generation using Large Language Models [38.2211640679274]
  生成したテキストの3つの主要な意味的側面(パーソナライズ、品質、関連性)を抽出し、これらの側面を自動的に測定する新しい評価手法であるAuPELを提案する。 既存の評価指標と比較して、AuPELはパーソナライズ能力に基づいてモデルの識別とランク付けを行うだけでなく、このタスクに対する信頼できる一貫性と効率を示す。
  論文  参考訳（メタデータ） (2023-10-17T21:35:06Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• SenteCon: Leveraging Lexicons to Learn Human-Interpretable Language Representations [51.08119762844217]
  SenteConは、深層言語表現に人間の解釈可能性を導入する方法である。 SenteConは、下流タスクにおける予測性能にほとんど、あるいは全くコストをかからない高レベルな解釈性を提供する。
  論文  参考訳（メタデータ） (2023-05-24T05:06:28Z)
• INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback [80.57617091714448]
  テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。 LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:22Z)
• Towards Human-Centred Explainability Benchmarks For Text Classification [4.393754160527062]
  本稿では,テキスト分類の妥当性を評価するために,テキスト分類ベンチマークを拡張することを提案する。 有効な説明を行う能力について客観的に評価する上での課題について検討する。 我々は、これらのベンチマークを人間中心のアプリケーションに基礎を置くことを提案する。
  論文  参考訳（メタデータ） (2022-11-10T09:52:31Z)
• Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
  テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。 本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。 本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
  論文  参考訳（メタデータ） (2022-10-18T10:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。