論文の概要: Beyond Model Bias: Cross-Entropy Based Rankings in Literary and Academic Texts Remain Stable across Small Language Models

• arxiv url: http://arxiv.org/abs/2610.17040v1
• Date: Mon, 12 Oct 2026 16:13:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 03:36:46.683812
• Title: Beyond Model Bias: Cross-Entropy Based Rankings in Literary and Academic Texts Remain Stable across Small Language Models
• Title（参考訳）: モデルバイアスを超えて: 文学および学術テキストにおけるクロスエントロピーに基づくランク付けは、小言語モデルにまたがって安定している
• Abstract要約: 本研究では,クロスエントロピー関連尺度に基づくランキングのばらつきの実証的証拠を示す。 現代詩のコーパスと学術研究論文のコーパスの2つのスタイリスティックな環境を考える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While language models provide powerful mechanisms for evaluating textual predictability, it remains unclear whether the relative extents of LM surprisal remain stable across models. This study presents empirical evidence of the invariance of ranking based on cross-entropy related measures (e.g. mean, variance of each data-point), across four distinct small scale transformer-based models, for a given dataset of text sources. We consider two stylistic environments: a corpus of contemporary poetry and a corpus of academic research papers. We demonstrate that mean and variance of cross-entropy maintain robust cross-model rank correlation ($ρ> 0.90$) across both regimes. To test whether this agreement merely reflects generic differences in textual complexity, we compare it against six parameter-free compression baselines. The extent of agreement among language models is found to be substantially higher than that among model-baselines, for most of the measures. Geometric analysis of the structurally constrained academic regime reveals that higher-order moments are sensitive to specific models, although strong agreement persists. The findings suggest that relative extents of textual unpredictability may be independent of the language model they are computed against.
• Abstract（参考訳）: 言語モデルは、テキスト予測可能性を評価するための強力なメカニズムを提供するが、LMの相対的範囲がモデル全体で安定であるかどうかは不明だ。 本研究では、テキストソースのデータセットに対して、4つの異なる小型トランスフォーマーベースモデルに対して、クロスエントロピー関連尺度(例えば、各データポイントの分散)に基づくランキングの不変性の実証的証拠を示す。 現代詩のコーパスと学術研究論文のコーパスの2つのスタイリスティックな環境を考える。 交差エントロピーの平均と分散は、両レジーム間で頑健なクロスモデルランク相関(ρ> 0.90$)を維持することを示した。 この合意がテキストの複雑さの一般的な相違を反映しているかどうかを検証するために、6つのパラメータフリー圧縮ベースラインと比較する。 言語モデル間の一致度は,ほとんどの尺度において,モデルベースラインよりもかなり高いことが判明した。 構造的に制約された学術体制の幾何学的分析は、高次モーメントが特定のモデルに敏感であることを示しているが、強い合意は持続する。 この結果は、テキストの予測不可能性の相対的な範囲は、それらが計算される言語モデルとは独立している可能性があることを示唆している。

関連論文リスト

• How Unlikely Is "Unlikely"? Assessing Verbal Probability Perception Across Large Language Models [1.435579512127234]
  確立された人間のベンチマークに基づいて,単語から数字へのマッピングタスクを用いて,系統的なクロスモデル評価を行う。 11個の不確実性表現を2つの条件下で19個のモデルに提示した。 モデルは「不可能」や「不可能」のような否定的な表現に対して体系的に上向きの偏見を示す」
  論文  参考訳（メタデータ） (2026-08-26T19:00:41Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• CONTESTS: a Framework for Consistency Testing of Span Probabilities in Language Models [16.436592723426305]
  単語スパンに関節確率を割り当てる異なる方法で、言語モデルが同じ値を生成するかどうかは不明である。 我々の研究はConTestSという新しいフレームワークを導入し、交換可能な完了順序と条件付き順序でスコアの整合性を評価する統計的テストを含む。
  論文  参考訳（メタデータ） (2024-09-30T06:24:43Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Language Model Evaluation Beyond Perplexity [47.268323020210175]
  我々は、言語モデルから生成されたテキストが、訓練された人為的なテキストに存在する統計的傾向を示すかどうかを分析する。 ニューラルネットワークモデルは、考慮された傾向のサブセットのみを学習しているように見えるが、提案された理論分布よりも経験的傾向とより密接に一致している。
  論文  参考訳（メタデータ） (2021-05-31T20:13:44Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference [5.283529004179579]
  自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。 包含を理解するモデルは前提と仮説の両方をエンコードするべきである。 Poliakらによる実験。 仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
  論文  参考訳（メタデータ） (2021-01-19T01:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。