論文の概要: Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions
- arxiv url: http://arxiv.org/abs/2605.21827v1
- Date: Wed, 20 May 2026 23:49:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 16:35:42.032282
- Title: Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions
- Title(参考訳): ささやかな意味は何か? LLM の数値行動におけるVag Intensity Wordsの測定
- Authors: Daniel Tabach,
- Abstract要約: 私は、研究者によって構成された10の英語の変調器の尺度を少しから劇的に研究する。
実行間で変化する唯一の変数は、インテンシティワードまたは開始システム状態である。
6,620語を T=0.7 で走ると、3つのパターンが出現する: 4つの下層の単語はすべて同じ値にマップされ、強い単語はより高いレジームに分解される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Do language models preserve the ordinal meaning of intensity words when those words must produce numeric actions? I study a researcher-constructed scale of 10 English degree modifiers, from slightly to drastically, informed by the Quirk et al. degree-modifier taxonomy, in a controlled resource-allocation environment where Claude Haiku receives a natural-language instruction, produces a numeric allocation, and a deterministic backend converts that allocation into a measurable outcome. The only variable that changes between runs is the intensity word or the starting system state, isolating their effects on the model's numeric output. Across 6,620 runs at T=0.0 and T=0.7, three patterns emerge. First, the model compresses 10 intensity words into 5 distinct median outputs: four lower-tier words all map to the same value, while stronger words break into higher regimes (Spearman rho = 0.845, p < 0.001). Second, when the current system state is supplied as context, separate Kruskal-Wallis tests show that grouping by starting allocation captures far more rank-based variance than grouping by word (epsilon-squared baseline = 0.782 vs. epsilon-squared word = 0.079), and lexical differentiation collapses to zero as the system approaches capacity. Third, near feasibility limits the model exhibits three behavioral modes: weak words hedge with small adjustments, strong words abstain entirely, and the word drastically pushes to the local ceiling. These patterns persist across temperature, with stochastic sampling broadening distributions but not restoring ordinal distinctions between words. In this model and domain, the model's numeric interpretation of vague intensity words is compressed, state-dependent, and discontinuous near operational boundaries.
- Abstract(参考訳): 言語モデルは、これらの単語が数値行動を起こす必要があるとき、強勢語の順序的意味を保っているか?
クロードハイクが自然言語命令を受け取り、数値アロケーションを生成し、決定論的バックエンドが、そのアロケーションを測定可能な結果に変換する制御資源アロケーション環境で、Quirk et al degree-modifier分類によってわずかから劇的に情報を得た10の英語コンストラクタのスケールについて研究する。
実行間で変化する唯一の変数は、モデルの数値出力に対する影響を分離するインテンシティワードまたは開始系状態である。
6,620本はT=0.0とT=0.7で走り、3つのパターンが現れる。
4つの下層の単語はすべて同じ値にマップされ、強い単語はより高いレジームに分解される(Spearman rho = 0.845, p < 0.001)。
第二に、現在のシステム状態がコンテキストとして提供されるとき、別のKruskal-Wallisテストでは、アロケーションによるグループ化は単語によるグループ化よりもはるかに高いランクベースの分散(エプシロン二乗ベースライン = 0.782対エプシロン二乗ワード = 0.079)を示し、システムがキャパシティに近づくにつれて語彙微分はゼロに崩壊する。
第3に、ほぼ実現可能性の制限により、モデルは3つの行動モードを示す: 小さな調整の弱い単語ヘッジ、強い単語が完全に吸収され、単語が局所的な天井に劇的に押し込まれる。
これらのパターンは、確率的サンプリングにより分布を広げるが、単語間の順序の区別を復元しない。
このモデルとドメインでは、曖昧な強度の単語の数値解釈は、操作境界付近で圧縮され、状態依存され、不連続である。
関連論文リスト
- Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。
我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。
解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
論文 参考訳(メタデータ) (2026-05-08T06:15:50Z) - The Randomness Floor: Measuring Intrinsic Non-Randomness in Language Model Token Distributions [0.0]
本稿では,モデルのトークン分布と均一分布の間の正規化KL分散であるエントロピック偏差(ED)を紹介する。
3つのトランスファミリは、異なるトレーニングデータや語彙にもかかわらず、ほぼ同じED値に収束する。
Qwen-32Bを用いた言語間実験では、5つの言語で安定な勾配を示し、トークンの肥大と相関しない。
論文 参考訳(メタデータ) (2026-03-29T21:17:46Z) - Intention Collapse: Intention-Level Metrics for Reasoning in Language Models [0.0]
この過程を、高次元の意図空間 I から外部言語空間 L への多対一の射影と呼ぶ。
我々は,3つのモデル非依存意図尺度(意図エントロピー,有効次元ディメフ,潜在知識回復可能性)を定義する。
200 GSM8K問題に対する4ビットMistral 7Bモデルを用いて,直解ベースライン,思考連鎖(CoT)レシエーション,バブル制御を比較した。
論文 参考訳(メタデータ) (2026-01-03T00:19:53Z) - The distribution of syntactic dependency distances [0.13812010983144798]
我々は,構文的依存距離の実際の分布のキャラクタリゼーションに寄与する。
ブレークポイント後に確率減衰が変化することを許容する2つの指数的状態を持つ新しいモデルを提案する。
文の長さやアノテーションのスタイルとは無関係に,20言語すべてにおいて,2段階のモデルが最も可能性の高いモデルであることが判明した。
論文 参考訳(メタデータ) (2022-11-26T17:31:25Z) - Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。
本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。
未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
論文 参考訳(メタデータ) (2022-05-26T21:11:51Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Text Information Aggregation with Centrality Attention [86.91922440508576]
本稿では, 固有中央集権自己注意という, 集権重み付けの新たな方法を提案する。
文中のすべての単語に対する完全連結グラフを構築し,各単語の注意点として固有中央性を計算する。
論文 参考訳(メタデータ) (2020-11-16T13:08:48Z) - NLP-CIC @ DIACR-Ita: POS and Neighbor Based Distributional Models for
Lexical Semantic Change in Diachronic Italian Corpora [62.997667081978825]
本稿では,イタリア語に対する教師なし語彙意味変化のシステムと知見について述べる。
その課題は、対象の単語が時間とともにその意味を進化させたかどうかを判断することであり、それは2つの時間固有のデータセットからの原文のみに依存する。
本研究では,各期間に対象単語を表す2つのモデルを提案し,しきい値と投票方式を用いて変化単語を予測する。
論文 参考訳(メタデータ) (2020-11-07T11:27:18Z) - Constructing interval variables via faceted Rasch measurement and
multitask deep learning: a hate speech application [63.10266319378212]
本稿では,教師付き深層学習と多面的ラッシュアイテム応答理論(IRT)構築手法を組み合わせることで,連続区間スペクトル上の複素変数を測定する手法を提案する。
われわれは、YouTube、Twitter、Redditから5万件のソーシャルメディアコメントを収集し、1万1000人の米国拠点のAmazon Mechanical Turkの労働者によってラベル付けされたデータセット上で、この新しい手法を実証した。
論文 参考訳(メタデータ) (2020-09-22T02:15:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。