論文の概要: The Long Tail, Not the Front Page: Cold-Start Prediction of Crowd Highlight Salience
- arxiv url: http://arxiv.org/abs/2606.11654v2
- Date: Thu, 11 Jun 2026 05:07:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 13:39:59.598951
- Title: The Long Tail, Not the Front Page: Cold-Start Prediction of Crowd Highlight Salience
- Title(参考訳): The Long Tail, not the Front Page: Cold-Start Prediction of Crowd Highlight Salience
- Authors: Kazuki Nakayashiki, Keisuke Watanabe,
- Abstract要約: ソーシャル・ハイライトの最も有用なシグナルは、既に多くの人が読んでいる文書にのみ存在する。
文書の集合的な群衆のサリエンスを、そのマークが蓄積される前にテキストから予測できるのか?
このデータに関する以前の研究で、ゼロショット言語モデルが、簡単なリード(配置)ベースラインよりも低い位置のハイライトを回復していることが判明した。
ハイライトコーパスでトレーニングされたモデルがそのベースラインを上回ることができるかどうかを問う。
- 参考スコア(独自算出の注目度): 1.8620637029128544
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A social highlighter's most useful signal -- which passages a crowd of readers marks -- exists only for documents people have already read. Can the aggregate crowd salience of a document be predicted from its text before its marks accumulate? Prior work on this data found that zero-shot language models recover highlight locations worse than a trivial lead (position) baseline, so we ask whether a model trained on the highlight corpus can beat that baseline. Using a pre-registered ladder of models and a by-document cluster bootstrap, we find a small but robust edge: a logistic ranker over sentence embeddings and positional/contextual features beats the lead baseline by +0.044 average precision (95% CI [+0.029, +0.058]; clears a pre-registered margin delta=0.03 in 97% of resamples, and stable across pipeline re-runs). Two unsupervised extractive baselines (centroid, LexRank-style centrality) lose to lead, and the trained model beats them by +0.108, so the edge is not recovered by generic unsupervised proxies -- it reflects learning from real reader marks. In product terms, precision@3 rises from 0.25 to 0.39 (+55% relative) and the model beats lead on 69% of documents. An ablation attributes the edge to the raw embedding (+0.014) and training augmentation (+0.010), each with a positive CI. The edge is not a temporal-generalization failure, and we find no evidence that content drift or near-duplicate leakage explains it. A standardized regression shows the advantage is governed mainly by document popularity (lower popularity, larger edge) and by label reliability. It nearly vanishes only on the most popular content; there it is the lead baseline that strengthens, not the model that weakens. Because our evaluation conditions on documents that eventually accumulated readers, these results are a retrospective cold-start simulation.
- Abstract(参考訳): ソーシャル・ハイライトの最も有用なシグナルは、既に多くの人が読んでいる文書にのみ存在する。
文書の集合的な群衆のサリエンスを、そのマークが蓄積される前にテキストから予測できるのか?
このデータに関する以前の研究で、ゼロショット言語モデルでは、簡単なリード(配置)ベースラインよりも位置の強調が低いことが分かり、ハイライトコーパスでトレーニングされたモデルがそのベースラインを破るかどうかを問う。
文の埋め込みと位置/コンテキスト上の特徴に対するロジスティックなローダは、事前登録されたマージンのデルタ=0.03をサンプリングの97%でクリアし、パイプラインの再実行を安定させ、リードベースラインを+0.044平均精度で打ち破る(95% CI [+0.029, +0.058])。
2つの教師なし抽出基線(センタロイド、LexRankスタイルの中央値)がリードを失い、トレーニングされたモデルが+0.108に打ち勝つため、エッジは一般的な教師なしプロキシによって回復されない。
製品的には、Precision@3は0.25から0.39(+55%)まで上昇し、このモデルは69%のドキュメントでリードしている。
アブレーションは、エッジを生の埋め込み(+0.014)とトレーニング増強(+0.010)にそれぞれ正のCIを持つ。
エッジは時間的一般化の失敗ではなく、コンテンツがドリフトしたり、ほぼ重複したリークがそれを説明する証拠は見つからない。
標準化された回帰は、主にドキュメントの人気(より低い人気、より大きなエッジ)とラベルの信頼性によって支配される利点を示している。
それは、最も人気のあるコンテンツだけに消える。そこでは、強化するリードベースラインであり、弱まるモデルではない。
最終的に読者を蓄積した文書に対する評価条件から,これらの結果は振り返りのコールドスタートシミュレーションである。
関連論文リスト
- Factions Within, Uncertain Across: Within-Document Reader Sub-Groups in Social Highlighting [1.8620637029128544]
余剰保存曲線球ヌルを用いた共読プラットフォームにおけるグループレベルの質問を行う。
実験1では、読者が共有サリエンス、マーク密度、文章人気予測以上の強力なサブグループを形成することを示す。
実験2では、安定したリーダー特性をグループ化していますか?ここでは、パワーについて正直に述べます。
論文 参考訳(メタデータ) (2026-06-10T03:25:36Z) - Selection, Not Salience: The Shape and Limits of Personalization in Social Highlighting [1.8620637029128544]
読み上げ高度にまたがるパーソナライゼーションの形状と限界をマッピングする。
測定可能なパーソナライズは主に選択層に現れる。
共有されたサリエンス層を超えて行くことは、個人を集約することによってより良くアプローチされる。
論文 参考訳(メタデータ) (2026-06-09T04:18:08Z) - NumLeak: Public Numeric Benchmarks as Latent Labels in Foundation Models [0.0]
NumLeakは、プロダクションモデル上のAPI境界プローブとオープン因果LM上のホワイトボックス制御バリデーションを組み合わせた測定フレームワークである。
最上位のフロンティアLLMは3シードプールのピアソン・r=0.97-0.99でファマ・フレンチの過剰リターンをリコールし、5つの兄弟要素で0.15-25bps以内にとどまった。
論文 参考訳(メタデータ) (2026-05-28T12:52:49Z) - RATE: Reviewer Profiling and Annotation-free Training for Expertise Ranking in Peer Review Systems [6.083097040417168]
LRベンチ(LR-bench)は,2024-2025のAI/NLP原稿を5段階の自己評価親和性評価で評価したベンチマークである。
また、レビュアーの最近の出版物をコンパクトなキーワードベースのプロファイルに抽出するレビュアー中心のランキングフレームワークであるRATEを提案する。
我々の手法は、常に最先端のパフォーマンスを達成し、明確なマージンで強力な埋め込みベースラインを上回ります。
論文 参考訳(メタデータ) (2026-01-27T14:13:46Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳(メタデータ) (2025-10-02T02:14:33Z) - Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence [56.09494651178128]
検索モデルは、Retrieval-Augmented Generation (RAG)のような情報検索(IR)アプリケーションで一般的に使用される。
我々は、Dragon+やContrieverのようなリトリーバーに対する、短いドキュメントの好みなどのバイアスの影響を定量化する。
私たちは大きな脆弱性を発見し、リトリバーが短いドキュメント、早い位置、繰り返しのエンティティ、リテラルマッチを好んで、答えの存在を無視しながら表示します。
論文 参考訳(メタデータ) (2025-03-06T23:23:13Z) - Ethicist: Targeted Training Data Extraction Through Loss Smoothed Soft
Prompting and Calibrated Confidence Estimation [56.57532238195446]
本研究では,対象とするトレーニングデータ抽出のためのEthicistという手法を提案する。
メモリ化を誘発するため、モデルを固定しながらソフトなプロンプト埋め込みをチューニングする。
我々は,最近提案された公開ベンチマークにおいて,エティシストが抽出性能を著しく向上することを示す。
論文 参考訳(メタデータ) (2023-07-10T08:03:41Z) - On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。
我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。
私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
論文 参考訳(メタデータ) (2022-12-20T06:24:25Z) - Out-of-Vocabulary Entities in Link Prediction [1.9036571490366496]
リンク予測はしばしば、埋め込みの品質を評価するプロキシとして使用される。
ベンチマークはアルゴリズムの公正な比較に欠かせないため、より良いソリューションを開発するための確固たる基盤を提供するため、その品質が確実に確保される。
我々は、そのようなエンティティの発見と削除のためのアプローチの実装を提供し、データセットWN18RR、FB15K-237、YAGO3-10の修正版を提供する。
論文 参考訳(メタデータ) (2021-05-26T12:58:18Z) - Negative Margin Matters: Understanding Margin in Few-shot Classification [72.85978953262004]
本稿では,メトリクス学習に基づく数ショット学習手法に負のマージン損失を導入する。
負のマージンの損失は、通常のソフトマックスの損失と、3つの標準的な数ショット分類ベンチマークにおける最先端の精度を著しく上回る。
論文 参考訳(メタデータ) (2020-03-26T17:59:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。