論文の概要: Language Models Agree With Each Other, Not With Readers

• arxiv url: http://arxiv.org/abs/2607.29274v1
• Date: Fri, 31 Jul 2026 10:44:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.695495
• Title: Language Models Agree With Each Other, Not With Readers
• Title（参考訳）: 言語モデルは読者とではなく互いに結びつく
• Abstract要約: 我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。 120のWebドキュメントに2,523のリードマークがある。 読者が読むものよりも確実に読者に同意するモデルはない。
• 参考スコア（独自算出の注目度）: 1.8620637029128544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Claims that language models homogenise are usually measured against human judgements collected for the study, which makes the human side an artifact of the design: a crowdworker given the model's instruction is running the model's prompt. We measure convergence against a human reference nobody built for the purpose -- 2,523 reader mark sets across 120 web documents, produced by people highlighting for their own reasons on a platform where the overlay of others' marks is off by default. Agreement is the overlap between two size-matched sentence sets minus the overlap expected when each is resampled within its own depth-and-length bands. The null's calibration is demonstrated, not asserted: every pair involving a random baseline lands within 0.006 of zero. On the median document each party names 14 sentences of 70; two readers share 4.1 and two models 8.7. Across 18 model arms spanning 11 vendors, 3 countries and both weight regimes, the median of 153 model pairs is +0.093 against a human yardstick of +0.040, and 99 sit entirely above the human interval. Two frontier models from rival labs reach +0.203, twice what GPT-4o agrees with itself on a second call. The effect is not determinism, prompt wording, procedure, vendor or routing, and it is graded: the smallest models agree at the human level. No model agrees with readers detectably more than a reader does, and at equal depth and length no surface feature separates their choices. The multiples are procedure-dependent and the ordering is not: models are cut to their sharpest set while a reader's is a random draw from what they marked, and blunting the models alike halves the gap without closing it. Tested out of sample on four models released after this analysis, against predictions fixed beforehand, none clears the human interval. A population simulated from several models is not several populations.
• Abstract（参考訳）: 言語モデルが均質であるとの主張は通常、研究のために収集された人間の判断に対して測定されるため、人間の側は設計の成果物となる。 120のWebドキュメントにまたがる2,523のリードマークセットは、他の人のマークのオーバーレイがデフォルトでオフになっているプラットフォーム上で、自分自身の理由を強調する人々によって作成されます。 一致とは、2つのサイズの整合した文セット間の重なり合いであり、それぞれがそれぞれの深さと長さのバンドに再サンプリングされるときに、重なり合うことを無視する。 ヌルのキャリブレーションは、0の0.006以内のランダムな基底線を含むすべてのペアによって証明される。 中央の文書では、各党が70の14文を指定し、2人の読者が4.1と2つのモデル8.7を共有している。 11のベンダー、3つの国と両方の重量体系にまたがる18のモデルアームのうち、153のモデルペアの中央値は+0.093で、人体のヤードスティックは+0.040で、99は人体のインターバルよりずっと上に位置する。 ライバルの研究所の2つのフロンティアモデルが+0.203に達した。 この効果は決定論、即興の言葉遣い、手続き、ベンダーまたはルーティングではなく、最も小さなモデルは人間のレベルで一致している。 読者が読者と同等の深さと長さを持つモデルはなく、表面的な特徴がそれぞれの選択を分離することはない。 モデルは最もシャープなセットにカットされ、リーダーはマークされたものからのランダムな引き分けであり、モデルを閉じることなく縮める。 この分析後にリリースされた4つのモデルでサンプルからテストされ、事前に修正された予測に対して、人間間隔をクリアすることはない。 いくつかのモデルからシミュレートされた人口は数人ではない。

関連論文リスト

• Detectable Only Where It Is Confounded: What Verified Duplication Counts Say About Membership Evidence in Language Models [0.0]
  言語モデルが予測する文章を異常に安価に見つけると、その文章が訓練データに含まれていたと結論付ける傾向があることが示される。 ほぼ全ての公開テストでは、どの文章がトレーニングデータ、メンバー、どれがそうでなかったかを推測する必要があった。 本稿では,OLMo-2とPythiaの2つのモデルファミリーが事前学習コーパスを公開し,各コーパスに現れる文の正確な回数を公開インデックスとして返却する。 答えは2つの側面から閉じてピンサーを形成する。
  論文  参考訳（メタデータ） (2026-09-09T21:01:56Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• How much of a measured AI preference is the model, and how much is the instrument? [0.0]
  この研究では、結果とモデルが固定され、楽器単独で変化する。 結論として、ある楽器から得られる好みは、第2の機器が何を報告するかについてのほとんど情報を持たない。
  論文  参考訳（メタデータ） (2026-08-24T02:23:11Z)
• Matched Outcomes, Divergent Gaze: How Foveated MLLMs Search Compared to Humans [50.71222402701153]
  目標指向検索(COCO-Search18)における3つの汎用大言語モデル(MLLM)と人間の眼球運動スキャンパスを比較した。 いずれも低エントロピー、大振幅、自己整合性のスキャンパスであり、2人の人間が互いに同意するよりもはるかに近い。 このギャップは、回答アライメントとサリエンシのメトリクスが測定できないプロセス軸の上に置かれている。それらが見逃しているため、そのような指標は人間のようなビジョンを証明できない。ゼロショットモデルは結果と空間的疑問に適合するが、時間的、プロセスレベルではない。
  論文  参考訳（メタデータ） (2026-08-17T12:54:39Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models [45.91367912142692]
  異なるモデルがいまだに同じ狭い部分集合を選択している可能性を示し、単一の引用が誤りを犯さずに、引用モノカルチャーを生成する。 3つのベンダーの11のモデルが、30のランダムなパネルから少なくとも10の論文を選択しており、実際のタイトルと抽象物があるが、作者が作り直され、再割り当て年、隠れた会場と引用数がある。
  論文  参考訳（メタデータ） (2026-08-03T14:27:46Z)
• OptimismBench: Forecasting Bias and the Alignment Effect in Language Model Judgment [0.9821874476902969]
  逆ペアによる方向バイアスを検出するOptimismBenchを導入する。 ポストトレーニングではバイアスの兆候が示され、異なる家族の反対のシフトが示される。 モデル毎の指向性監査のために,10言語で3,870項目をリリースしています。
  論文  参考訳（メタデータ） (2026-07-29T14:38:55Z)
• Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models [0.0]
  2つの実験は、保持された汚染のない合成コーパス上の3つの因子全てを横断する。 実験1では,規則数Nが10から160に増加するにつれて,命令追従減衰を測定する。 実験2では, 2k-to-512k-tokenのコンテキストラグ上での精度, 虚偽の前提条件, ファクトファクトファクトファクチャリングの測定を行った。
  論文  参考訳（メタデータ） (2026-07-21T16:31:35Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• The One-Word Census: Answer-Choice Conformity Across 44 Language Models [3.7734715043126488]
  我々は31個のシングルターンプロンプトの収束を特徴付け、それぞれに有効な1ワードの回答が多数あるカテゴリを命名する。 平均$-log2$の確率は、他のすべてのモデルのプールされた答えの下で得られる。 ペルソナとコミュニティがデザインしたモデルは最も異なっており、最新のメインラインフラッグシップは最もコンフォーマリストである。
  論文  参考訳（メタデータ） (2026-07-14T14:12:05Z)
• The Model as One Rater Among Several: Measuring Political Positions in Data-Sparse Regions with a Language-Model Panel [0.0]
  パネルと、空白とゼロのスコアを区別する適用性ルールと、アクターが何をするかを区別するレンズシステムについて説明する。 私は、まだ欠落している人間のバリデーションを含め、このメソッドができないことを平気で考え、楽器とデータをフルにリリースします。
  論文  参考訳（メタデータ） (2026-06-22T08:48:50Z)
• The Single-File Test: A Longitudinal Public-Interface Evaluation of First-Output LLM Web Generation with Social Reach Tracking [0.0]
  本稿では,"HTML AI Battle"プロジェクトにおける17の公開実験から収集した68個の単一ファイルHTML世代を8週間にわたって比較した。 GPT、Gemini、Grok、Claudeの4つの推論モデルファミリは、カスタムインストラクションなし、パーソナリティチューニングなし、修理プロンプトなし、固定された公開インターフェースプロトコルで比較された。 クロードは最強で一貫した家族であり、平均的なパフォーマンスを導き、主要な人間の重み付けスコアで9/17のプロンプトを獲得した。
  論文  参考訳（メタデータ） (2026-05-06T18:19:11Z)
• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
  APIプロバイダは、基本モデルの定量化、透かし、微調整を行い、出力分布を変更することができる。 モデル平等テスト(Model Equality Testing)は,2サンプルテスト問題である。 単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。
  論文  参考訳（メタデータ） (2024-10-26T18:34:53Z)
• One Thousand and One Pairs: A "novel" challenge for long-context language models [56.60667988954638]
  NoChaは、67冊の架空の書籍に関する1,001対の真偽の主張のデータセットである。 当社のアノテータは、NoChaにおけるペアの最大シェアは、本全体に対するグローバルな推論を必要としていることを確認しています。 平均的なモデルでは、文レベルの検索しか必要としないペアの方が、グローバルな推論よりもはるかに優れています。
  論文  参考訳（メタデータ） (2024-06-24T02:03:57Z)
• What Can We Learn from Collective Human Opinions on Natural Language Inference Data? [88.90490998032429]
  ChaosNLIは、集合HumAnオピニオンSを研究するための合計464,500のアノテーションを持つデータセットである。 このデータセットは、SNLIとMNLIの3,113例とAbductive-NLIの1,532例に対して、100のアノテーションを例に集めて作成されている。
  論文  参考訳（メタデータ） (2020-10-07T17:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。