論文の概要: Behavioral and Representational Evidence of Binomial Ordering Preferences in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.21645v1
• Date: Fri, 19 Jun 2026 17:56:44 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-06-23 14:54:05.217955
• Title: Behavioral and Representational Evidence of Binomial Ordering Preferences in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける二項順序付け選好の行動的・表現的エビデンス
• Authors: Zhiqing Yang, Yilun Liu, Yunpu Ma, Volker Tresp, Hinrich Schütze,
• Abstract要約: 両単語の置換は文法的に有効であるが、従来と異なる言語間変異を示す。 コーパス由来の嗜好と、6つのオープンウェイト言語モデルのモデル誘発順序付け確率を測り比較する。
• 参考スコア（独自算出の注目度）: 61.21623682203952
• License:
• Abstract: Large language models (LLMs) can readily reproduce conventional expressions, yet their ability to model gradient frequency distributions remains underexplored. We investigate this using linguistic binomials, such as men and women, where both word permutations are grammatically valid but exhibit distinct, cross-linguistic variations in conventionality. We formalize binomial ordering as a distributional alignment problem, and construct a multilingual dataset of 600 binomial pairs across 8 languages. With categorical and distributional metrics, we measure and compare the corpus-derived preferences with model-induced ordering probabilities of 6 open-weight LLMs. While models often behaviorally recover the dominant corpus-preferred order, particularly for strongly conventionalized pairs, they align less well with the exact corpus preference distributions. This suggests that apparent directional order overstates how faithfully LLMs capture the statistical nuances of language use. Sparse probing verifies that the concept of preference strength is partially encoded among middle-to-late layers, and steering along probe-derived directions alters model-induced ordering distributions, demonstrating that the statistical behavioral preference of LLMs can be mechanistically measured and manipulated via internal representations.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、従来の表現を容易に再現できるが、勾配周波数分布をモデル化する能力はいまだ探索されていない。 両単語の置換が文法的に有効であるが,従来と異なる言語的差異を示す,男女などの言語二項体を用いてこれを検討した。 分散アライメント問題として二項順序付けを定式化し、8言語にまたがる600の二項ペアからなる多言語データセットを構築した。 分類的および分布的指標を用いて、コーパス由来の選好を6つのオープンウェイトLLMのモデル誘導順序確率と比較した。 モデルは、しばしば支配的なコーパス優先順序、特に強い慣習化されたペアに対して行動的に回復するが、それらは正確なコーパス優先分布とうまく一致しない。 このことは、明らかな方向順は、LLMが言語使用の統計的ニュアンスをいかに忠実にとらえるかを誇示していることを示唆している。 Sparse Probing は、選好強度の概念が中間層から後期層の間で部分的に符号化され、プローブ誘導方向に沿った操舵がモデル誘導順序分布を変化させ、LSM の統計的挙動の嗜好を機械的に測定し、内部表現を通して操作できることを実証する。

関連論文リスト

• Is my model perplexed for the right reason? Contrasting LLMs' Benchmark Behavior with Token-Level Perplexity [6.285055089721361]
  モデルが言語学的に関係のある手がかりに依存しているかどうかをテストするために,トークンレベルの難易度に基づく基本的解釈可能性フレームワークを導入する。 本手法は,不安定な特徴帰属技術に頼ることなく,正確な仮説駆動解析を可能にする。
  論文  参考訳（メタデータ） (2026-03-31T08:00:55Z)
• Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
  長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。 CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
  論文  参考訳（メタデータ） (2026-01-06T16:26:40Z)
• Probabilistic Token Alignment for Large Language Model Fusion [100.30692772017238]
  大規模言語モデル(LLM)をスクラッチからトレーニングすると、ユニークな機能と強みを持つモデルが得られるが、コストがかかり、しばしば冗長な機能をもたらす。 既存のモデル融合における重要な課題は、手動で定義された語彙のアライメントに依存することである。 PTA-LLM と呼ばれるアライメントのための一般およびソフトマッピングとして確率的トークンアライメント法を提案する。
  論文  参考訳（メタデータ） (2025-09-21T23:18:24Z)
• Probability Consistency in Large Language Models: Theoretical Foundations Meet Empirical Discrepancies [11.615194868239849]
  列のパープレキシティは、前方、後方、任意の置換を含む任意の因子化の下で不変であることを示す。 我々は,GPT-2モデルを前方,後方,任意の順序で科学的テキスト上で再訓練する。
  論文  参考訳（メタデータ） (2025-05-13T16:52:19Z)
• Random-Set Large Language Models [4.308457163593758]
  大規模言語モデル(LLM)は、クエリに対する非常に高品質なテストとレスポンスを生成することで知られています。 しかし、この生成されたテキストはいくら信用できますか? 本稿では,トークン空間上の有限ランダム集合(関数)を予測するランダムセット大言語モデル(RSLLM)を提案する。
  論文  参考訳（メタデータ） (2025-04-25T05:25:27Z)
• Are LLMs Models of Distributional Semantics? A Case Study on Quantifiers [14.797001158310092]
  分布意味論モデルは真理条件推論や記号処理に苦しむ。 期待とは対照的に、LSMは正確な量化器とあいまいな量化器の人間の判断とより密接に一致している。
  論文  参考訳（メタデータ） (2024-10-17T19:28:35Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• A Latent Space Theory for Emergent Abilities in Large Language Models [5.033924641692716]
  言語はランダムに生成されるのではなく、情報を伝えることが示される。 言語とその根底にある意味の強い関係は、疎結合の分布をもたらす。 ビッグデータと大規模モデルに基づいて訓練されたLLMの出現により、言語の境界分布を正確に評価できるようになった。
  論文  参考訳（メタデータ） (2023-04-19T20:45:01Z)
• Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
  稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。 パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。 自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
  論文  参考訳（メタデータ） (2022-03-24T01:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。