論文の概要: Measuring Alignment With Reader Highlights Net of Position and Length

• arxiv url: http://arxiv.org/abs/2607.27739v1
• Date: Thu, 30 Jul 2026 06:24:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.422488
• Title: Measuring Alignment With Reader Highlights Net of Position and Length
• Title（参考訳）: 読み手によるアライメント測定 : 位置と長さのネット
• Abstract要約: 120のウェブ文書(少なくとも12の独立した読者)では、言語モデルに重点を置くランキングが38.4%と一致した隣人の19.9%に対して群衆マーク付き文を維持している。 GPT-5.4 (+0.002 [-0.081, +0.088]) と区別できない 0.182 に到達し、5以下となる。
• 参考スコア（独自算出の注目度）: 1.8620637029128544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context compression discards most of a document before a language model reads it, and is normally evaluated by downstream task accuracy - which makes another model the judge of what mattered. Naturalistic social highlighting offers a non-circular reference: many people independently marking passages on the same page. But the obvious metric, the fraction of crowd-marked sentences a compressor keeps, is confounded twice: crowd marks are front-loaded and crowd-marked sentences are longer, so any method favouring early or long sentences scores well regardless of readers. We remove both by matching each marked sentence against unmarked sentences of the same document at equal relative depth and equal within-document length rank, and we calibrate every estimator on synthetic nulls built from position and length alone - a step that matters, since depth-only stratification returns a false positive on 20-36% of nulls containing no effect. On 120 web documents (at least 12 independent readers each), a language-model importance ranking keeps 38.4% of crowd-marked sentences against 19.9% of their matched neighbours: an enrichment of +0.196 [+0.148, +0.239], at p = 0.0005 under an exact randomization test that assumes nothing about clustering, and replicated cross-vendor. Naive truncation, whose keep rule is position, correctly falls to +0.003. To give the number a scale: scored identically, on the same budget, against a crowd label recomputed to exclude them, a single human reader reaches +0.182 - indistinguishable from GPT-5.4 (+0.002 [-0.081, +0.088]) and below Claude Opus 5. Classical methods are not null - Luhn's 1958 heuristic reaches +0.088 - so reader selection is partly recoverable by counting words; conditioning additionally on lexical centrality removes only 0.010, so the agreement is not centrality. We also report that a claim in our own prior work does not reproduce on this corpus.
• Abstract（参考訳）: コンテキスト圧縮は、言語モデルがそれを読む前にドキュメントの大半を破棄し、通常、ダウンストリームタスクの精度によって評価される。 自然主義的な社会的ハイライトは非循環的な参照を提供する。 しかし、圧縮機が保持する群衆マーク付き文のごく一部である明らかなメートル法は、2回にまとめられている: 群衆マークは前もってロードされ、群衆マーク付き文は長い。 我々は、各マーク文を、同じ文書のマークされていない文と、同等の相対深さで、文書内の長さのランクで一致させることにより、両方を除去し、位置と長さだけで作られた合成ヌルについて、すべての推定器を校正する。 120のウェブ文書(少なくとも12の独立した読者)では、言語モデルに重点を置くランキングが38.4%を、一致した近隣住民の19.9%に対して維持している: p = 0.0005 において +0.196 [+0.148, +0.239] の濃縮、クラスタリングについて何も想定しない正確なランダム化テスト、およびクロスベンダーの複製である。 保留則が位置にある裸の切り離しは、正確に+0.003に該当する。 同じ予算で、それらを除外するために再計算された群衆ラベルと同一のスコアでスコアを付けるために、1人の人間リーダーは、GPT-5.4 (+0.002 [-0.081, +0.088])と区別できない+0.182に達する。 古典的な手法はヌルではない - ルーンの1958年のヒューリスティックは+0.088に達し、読み手の選択は単語を数えることによって部分的に回復可能である。 我々はまた、このコーパスについて、我々の先行研究における主張が再現されないことを報告している。

関連論文リスト

• Flesch-Kincaid Readability Depends Only on the Topic Distribution in Long Texts under Topic Models [0.0]
  Flesch Reading Ease(FRE)とFlesch-Kincaid Grade Level(FKGL)は、同じ2つの文書統計から計算された英語の可読性スコアとして広く使われている。 明示的な文境界トークンを持つトピックモデルでは、どちらのスコアも文書トピック分布の決定論的関数にほぼ確実に収束する。 すべてのスコア変動は、残留可読性信号ではなく、トピック合成によって媒介される。
  論文  参考訳（メタデータ） (2026-08-24T14:41:06Z)
• When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models [45.91367912142692]
  異なるモデルがいまだに同じ狭い部分集合を選択している可能性を示し、単一の引用が誤りを犯さずに、引用モノカルチャーを生成する。 3つのベンダーの11のモデルが、30のランダムなパネルから少なくとも10の論文を選択しており、実際のタイトルと抽象物があるが、作者が作り直され、再割り当て年、隠れた会場と引用数がある。
  論文  参考訳（メタデータ） (2026-08-03T14:27:46Z)
• Floor, Ceiling, and the Fusion Gap: How Much of Crowd Reading Attention Can Machines Predict? [1.8620637029128544]
  ベンチマークスコアは、自明なメソッドが何を達成し、最良のメソッドが何を達成できるかを知らなければ何の意味も持たない。 読者の群集が、それぞれの目的、無給、無命令、盲目などのために、120のWebドキュメントでマークされている文を予測します。
  論文  参考訳（メタデータ） (2026-08-03T05:09:49Z)
• Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
  我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。 120のWebドキュメントに2,523のリードマークがある。 読者が読むものよりも確実に読者に同意するモデルはない。
  論文  参考訳（メタデータ） (2026-07-31T10:44:10Z)
• Beyond Similarity: Grounded Agentic Extraction and Expert-Adjudicated Evaluation of Intertextuality in Classical Chinese Histories [3.694051864521789]
  我々は、大言語モデルが2つのテキスト単位をフルに読み込むエージェントタスクとして、きめ細かいテクスチャ間抽出をリキャストする。 3つのドメインの専門家がプールされたマルチモデル候補を2,533対のテキスト間ペアのベンチマークに設定し、Analects と Book of Han を徹底的に比較する手法を検証する。
  論文  参考訳（メタデータ） (2026-07-30T02:34:23Z)
• Contrastive ESA: Human Evaluation of Multiple Translations at Once [45.918020796451536]
  Contrastive Error Spanを紹介します。 (cESA) ソース入力(テキスト、ビデオ、オーディオ、画像)の複数翻訳を行うプロトコル。 cESAでは、アノテータは同じ文書の複数の翻訳を見て、メジャーとマイナーのエラースパンをマークし、絶対スケールでスコアを0%から100%に割り当てる。 我々は,12モデルの日本語翻訳を人体で大規模に評価したcESAを検証し,標準点評価と比較して注釈時間と雑音の低減を実証した。
  論文  参考訳（メタデータ） (2026-07-29T09:01:59Z)
• From a Word-Level Dictionary to Sentence-Level Semantics: Multilingual Grievance Labelling with Contextual Models [3.5005774502836995]
  グリーバンス(Greevance)は、暴力の脅威を評価する際にアナリストが求める警告の1つだ。 オンラインテキストから大規模に測定されるようになり、多くの場合、重み付けされた用語でスコア付けされる単語レベルのレキシコンで測定される。 我々は、周囲の文脈を読み取ることにより、より忠実にグリーバンスを測定することを示す。
  論文  参考訳（メタデータ） (2026-07-23T05:56:04Z)
• Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity [43.23157850664282]
  VOIR DIREは、米国と中国本土にまたがる、626の文化的にペアリングされたイメージプロンプトアーティファクトのマルチモーダルベンチマークである。 6つのMLLMにまたがって、バイアスは2つの障害に分解される。 本稿では,各参照プールに対して個別にアライメントを報告することを推奨する。
  論文  参考訳（メタデータ） (2026-06-12T15:53:40Z)
• The Long Tail, Not the Front Page: Cold-Start Prediction of Crowd Highlight Salience [1.8620637029128544]
  ソーシャル・ハイライトの最も有用なシグナルは、既に多くの人が読んでいる文書にのみ存在する。 文書の集合的な群衆のサリエンスを、そのマークが蓄積される前にテキストから予測できるのか? このデータに関する以前の研究で、ゼロショット言語モデルが、簡単なリード(配置)ベースラインよりも低い位置のハイライトを回復していることが判明した。 ハイライトコーパスでトレーニングされたモデルがそのベースラインを上回ることができるかどうかを問う。
  論文  参考訳（メタデータ） (2026-06-10T04:37:23Z)
• Embeddings for Preferences, Not Semantics [42.35314862635723]
  現代のAIは、参加者が自分の見解を自由形式のテキストとして表現する、集合的な意思決定への扉を開く。 標準テキスト埋め込みは意味的類似度を測定するが、施設位置問題と公正クラスタリングの距離はテクスタイト優先類似度と呼ばれるものを必要とする。 この相関関係を断ち切るために設計された合成トレーニングデータにより、最適スコアラーはニュアンスに支配されたコサインから確実にシフトし、11のオンライン熟考データセットにおける選好予測を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2026-05-08T18:15:14Z)
• Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation [0.0]
  連鎖忠実性に関する最近の研究は、単一集合数について報告している。 本論文は、忠実性はモデルの客観的かつ測定可能な性質ではないことを示す。
  論文  参考訳（メタデータ） (2026-03-20T17:48:43Z)
• Data Provenance Auditing of Fine-Tuned Large Language Models with a Text-Preserving Technique [36.96848724920411]
  我々は、見えないUnicode文字を文書に埋め込むテキスト保存型透かしフレームワークを導入する。 我々は50の文書を微調整した後の応答を検出する際に0.1%未満の失敗率を実験的に観察した。 100%TPR@0% FPRに対応する18,000以上の課題において、突発的な回答は得られなかった。
  論文  参考訳（メタデータ） (2025-10-07T08:34:08Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Automatically measuring speech fluency in people with aphasia: first achievements using read-speech data [55.84746218227712]
  本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
  論文  参考訳（メタデータ） (2023-08-09T07:51:40Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)
• End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
  HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。 標準メトリクスは、現れる可能性のある不整合を考慮していない。 本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
  論文  参考訳（メタデータ） (2023-01-14T15:43:07Z)
• Not All Errors are Equal: Learning Text Generation Metrics using Stratified Error Synthesis [79.18261352971284]
  人間のアノテーションを必要とせずに、人間の判断と高い相関関係を持つモデルベースの計量であるSESCOREを紹介する。 既存の指標に対してSESCOREを評価し,そのスコアと人間の評価との関係を比較検討した。 SESCOREは、人間による注釈付きトレーニングデータを受け取らず、最高の教師付きメトリックCOMETに匹敵するパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2022-10-10T22:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。