論文の概要: Prompts and probabilities in the linguistic assessment of language models: Evidence from semantic focus-sensitivity

• arxiv url: http://arxiv.org/abs/2610.39923v1
• Date: Thu, 29 Oct 2026 12:28:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.083504
• Title: Prompts and probabilities in the linguistic assessment of language models: Evidence from semantic focus-sensitivity
• Title（参考訳）: 言語モデルの言語学的評価における確率と確率:意味的焦点感からの証拠
• Abstract要約: 以前の研究は、より小さなモデルにおけるトークン確率に基づく手法と比較して、明示的なプロンプトが過小評価されることを示している。 セマンティックフォーカスセンシティブ、"Lucy only SWAM yesterday"のようなコントラスト、"Lucy only swam YESTERDAY"といった新しいドメインでテストします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As language models (LMs) have improved, an increasingly common means of evaluating their linguistic competence is through explicit prompting (e.g., "Which sentence is more acceptable?"). Prior work indicates that such prompting underperforms compared to standard token-probability-based methods in smaller models, but improves in larger models. We test this in a new domain: semantic focus-sensitivity, responsible for contrasts like "Lucy only SWAM yesterday" vs. "Lucy only swam YESTERDAY". Testing models of various sizes using text-based focus markers like boldface and italics, we find universal above-chance performance for token probabilities. Prompting results mostly align with previous findings, but in some larger models they outperform probabilities by a wide margin. We propose that this is because LMs are not prone to produce out-of-the-blue focus marking, which muddies results from token probabilities in a way that does not affect prompting. We test this by replacing standard focus markers with randomly generated ones; token probabilities still beat chance but show significantly greater performance decrease compared to prompting. These results suggest that metalinguistic prompting, while non-trivial for LMs, can also be more robust when testing stylistically atypical data. We argue that this has important consequences for the assessment of LMs' language competence, even if LMs do not perform metalinguistic judgments through human-like introspection.
• Abstract（参考訳）: 言語モデル(LM)が向上するにつれて、言語能力を評価するための一般的な手段は、明示的なプロンプト(例: "Which sentence is more accept? 以前の研究は、より小さなモデルでは標準的なトークン確率に基づく手法に比べて性能が低いが、より大きなモデルでは改善されていることを示している。 セマンティックフォーカスセンシティブ、"Lucy only SWAM yesterday"のようなコントラスト、"Lucy only swam YESTERDAY"といった新しいドメインでテストします。 大胆な顔やイタリックのようなテキストベースのフォーカスマーカーを用いたさまざまなサイズのテストモデルでは、トークン確率に対する普遍的なオーバーチャンス性能が得られます。 プロンプティングの結果は、主に以前の結果と一致しているが、より大きなモデルでは、より広いマージンで確率を上回っている。 これは、LMが青外焦点マーキングを生じにくいためであり、トークンの確率がプロンプトに影響しない方法で泥だらけになるためである。 我々は、標準的なフォーカスマーカーをランダムに生成されたマーカーに置き換えることで、これを検証した。 これらの結果から, LMに対して非自明なメタinguistic promptingは, スタイリスティックな非定型データをテストする際にも, より堅牢である可能性が示唆された。 我々は,LMが人間のような内観を通さない場合でも,LMの言語能力を評価する上で重要な結果をもたらすと論じている。

関連論文リスト

• Beyond the Next Token: Towards Prompt-Robust Zero-Shot Classification via Efficient Multi-Token Prediction [12.92060812931049]
  プロンプトの微妙な変化は、モデルの性能に重大な違いをもたらす可能性がある。 複数位置にわたるトークン確率を予測する新しい手法であるPlaceholding Parallel Prediction (P3)を提案する。 実験では精度が向上し、プロンプト間の標準偏差が最大98%減少した。
  論文  参考訳（メタデータ） (2025-04-04T04:39:51Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• When a language model is optimized for reasoning, does it still show embers of autoregression? An analysis of OpenAI o1 [20.093907710471317]
  o1はOpenAIの新しいシステムで、従来の言語モデルと異なり、推論に最適化されている。 多くの場合、o1は従来のLLMよりも大幅に優れていた。 しかし、o1は以前のシステムで観測したのと同じ定性的傾向を示している。
  論文  参考訳（メタデータ） (2024-10-02T17:50:19Z)
• An Analysis and Mitigation of the Reversal Curse [70.13419502543915]
  最近の研究は、大型言語モデル(LLM)で注目すべき現象を観測している。 逆の呪文は、$a$と$b$の2つのエンティティを扱う場合、LLMは$aRb$,'という形式でシーケンスを処理するのに優れるが、$bR-1a$'を処理する場合の課題に直面することである。
  論文  参考訳（メタデータ） (2023-11-13T17:01:12Z)
• Shifting Attention to Relevance: Towards the Predictive Uncertainty Quantification of Free-Form Large Language Models [27.491408293411734]
  大規模言語モデル(LLM)は、言語生成と命令の後に有望な結果を示すが、しばしば「ハロシン化」を示す。 我々の研究は単純な冗長性を導入している: 自動回帰テキストのすべてのトークンが、基礎となる意味を等しく表しているわけではない。
  論文  参考訳（メタデータ） (2023-07-03T22:17:16Z)
• More Than Words: Towards Better Quality Interpretations of Text Classifiers [16.66535643383862]
  MLモデルの入力インタフェースを考えると、トークンベースの解釈性は便利な第1選択であるが、あらゆる状況において最も効果的ではないことを示す。 1)ランダム化テストにより測定されるほど頑健であり,2)SHAPのような近似に基づく手法を用いた場合の変動性が低く,3)言語的コヒーレンスがより高い水準にある場合の人間には理解できない。
  論文  参考訳（メタデータ） (2021-12-23T10:18:50Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。