論文の概要: SlopBench: How Well Can We Rank Language Models by Slop? A Multi-Domain Benchmark of Repetitive AI Writing
- arxiv url: http://arxiv.org/abs/2609.33905v1
- Date: Sun, 27 Sep 2026 20:38:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 15:46:58.32916
- Title: SlopBench: How Well Can We Rank Language Models by Slop? A Multi-Domain Benchmark of Repetitive AI Writing
- Title（参考訳）: SlopBench: 言語モデルをスロープでランク付けするにはどうすればよいか? 反復AI記述のマルチドメインベンチマーク
- Abstract要約: SlopBench氏は、どのモデルが固く反復的な散文の読者をAIスロップと呼ぶのかを尋ねる。
電子メール,ソーシャルポスト,エッセイ,職場チャットにおいて,手書きタスク112件のモデル18件を評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: SlopBench asks which models produce the stiff, repetitive prose readers call AI slop, a question detectors leave open once they have classified a text as machine-written. We evaluated eighteen models on 112 hand-written tasks in email, social posts, essays, and workplace chat, sampling each model on each task up to ten times, for 19,928 outputs in all. SlopBench scores four surface behaviors a reader can check by hand: length against the word band each task specifies, opener repetition across a model's own samples of one task, and paragraph rhythm and fixed lexical constructions against pre-ChatGPT human corpora. Under one fixed weighting, Kimi K2.6 scores lowest at 21.1 and Mistral Large highest at 40.6. Across 500 random reweightings Kimi has the lowest score in 58 percent of draws and Mistral the highest in 97 percent. No draw preserves the full order of the eighteen, and a scenario bootstrap leaves exactly one of those ranks unambiguous. We ran three further checks on that middle order: a crowd arena, an AI detector, and lexical diversity. None of them confirmed the order. We therefore report the four behaviors separately and treat the composite as one weighting among many, and we release the prompts, outputs, reference statistics, and scoring code.
- Abstract（参考訳）: SlopBench氏は、どのモデルが固く反復的な散文をAIスロップと呼ぶのかを尋ねる。
メール,ソーシャルポスト,エッセイ,職場チャットで手書きタスク112件について18件のモデルを評価し,各タスクのモデルを最大10回サンプリングし,19,928件のアウトプットを行った。
SlopBenchは、読者が手動でチェックできる4つの面の挙動をスコア付けする。各タスクのワードバンドに対する長さ、モデルの1つのタスクのサンプルに対するオープンな反復、および前ChatGPT人間のコーパスに対する段落のリズムと固定された語彙構造である。
1回の固定重み付けで、K2.6は21.1で最低、Mistral Largeは40.6で最低となる。
キミは58%で、ミストラルは97%で最高。
ドローは18人の完全な順序を保たず、シナリオブートストラップはこれらのランクのうちの1つを曖昧に残している。
私たちは、その中間の順でさらに3つのチェックを実行しました。群衆のアリーナ、AI検出器、語彙多様性です。
彼らはその命令を確認しなかった。
そこで我々は,これら4つの動作を別々に報告し,その複合体を1つの重み付けとして扱い,プロンプト,出力,参照統計,スコアリングコードをリリースする。
関連論文リスト
- Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳（メタデータ） (2026-09-16T04:00:54Z) - Creating an Atomic User Model for Personality-Aware Large Language Model Interaction [0.0]
本論文は、パーソナリティ・インプットと呼ばれる効果について述べる。
プロンプトの言葉には、作家の性格の痕跡が残されている。
プロファイル全体を挿入する代わりに、AUMを検索可能なインデックスとして使用しています。
論文 参考訳（メタデータ） (2026-09-10T18:11:43Z) - K-Bench: measuring model performance on real scientific agent requests [0.0]
K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。
3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。
39,934点中47.6%が8点を下回った。
論文 参考訳（メタデータ） (2026-08-21T20:06:08Z) - FlavourBench: Executable Culinary Reward Maps for Language Model Evaluation and Post-Training [0.0]
オープンエンド言語モデル評価は、欠落した応答キーに対して、他のモデルや小さな選好パネルの代わりに行われることが多い。
FlavourBenchを導入し、バージョン付き料理環境から高密度な回答マップをコンパイルする。
同じ534の置換、ペアリング、制約タスク上で27のフロンティアエンドポイントを評価し、14,418の完全なモデルタスク観測結果を得た。
論文 参考訳（メタデータ） (2026-08-20T21:14:52Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳（メタデータ） (2026-08-11T16:18:34Z) - Overview of FinMMEval 2026 Task 2: Multilingual Financial Short-Answer Question Answering [59.6753725406784]
FinMMEval 2026 Task 2は、多言語的証拠に対して答える短時間の財務問題を評価する。
最終テストセットには256項目が含まれており、易度と熟練度を均等に分けている。
最強のシステムは密集しており、上位4つはROUGE-1 F1の1ポイント未満で分離されている。
論文 参考訳（メタデータ） (2026-07-22T07:54:17Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - No Single Best Model for Diversity: Learning a Router for Sample Diversity [69.53166985556759]
本稿では,有効な応答の集合を包括的に抽出する手法について検討する。
本稿では,各回答に割り当てられた品質スコアを計測する指標であるtextbfdiversity Cover を紹介する。
各プロンプトには、多様な回答セットを生成する際に、他のすべてのモデルよりも大幅に優れるモデルが存在する。
論文 参考訳（メタデータ） (2026-04-02T17:58:37Z) - One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。
既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。
マルチターン命令追従能力を評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-05T14:39:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。