論文の概要: Not Just an Evaluation: A Case Study of Discourse Particle Sensitivity in Language Models

• arxiv url: http://arxiv.org/abs/2610.13794v1
• Date: Fri, 09 Oct 2026 16:07:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.681144
• Title: Not Just an Evaluation: A Case Study of Discourse Particle Sensitivity in Language Models
• Title（参考訳）: 単なる評価ではない:言語モデルにおける談話粒子の感度のケーススタディ
• Abstract要約: 本研究では,自然会話における「正」と「のみ」に対する感受性について,行動学的・機械的分析を用いて検討した。 LLMと人間も同様に、文脈におけるこれらの粒子の存在を好みます。 我々は LLM 内の粒子感受性単位を局所化し、"just" と "only" の重なりが非対称であることを見つける。
• 参考スコア（独自算出の注目度）: 41.510287082822366
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Discourse particles subtly shape the flow of discourse by reflecting conversational context and interlocutor attitudes, often leaving the truth-conditional meaning untouched. They are also often polyfunctional, with distinct senses which partially overlap with other particles; for example, the exclusive use of English "just" and "only" ("John only/just drinks water"). Despite the frequency of these words in natural language, they have gone largely unstudied due to the subtle nature of their effects. We investigate LLM sensitivity to "just" and "only" in natural conversations using behavioral and mechanistic analyses. First, we find that LLMs and humans similarly prefer the presence of these particles in context, and both are more sensitive to "just" compared to "only". Second, when sampling from LLMs with and without these particles, we find LLMs consistently rate generations as more likely, given their source context, demonstrating their particle sensitivity. In both experiments, instruction tuning increases sensitivity. Finally, we localize particle-sensitive units within LLMs and find the overlap between "just" and "only" is asymmetric: "only" units transfer selectively to exclusive "just", while all "just" units transfer to "only" equally well regardless of sense, suggesting LLM lexical-level particle representations are partially organized by sense. We release our code, sense-labeled dialogue stimuli, and human preference annotations at https://github.com/JiahuiKChen/Not_Just_an_Evaluation.
• Abstract（参考訳）: 談話粒子は会話の文脈や対話者の態度を反映して、会話の流れを微妙に形成する。 それらはしばしば多機能であり、他の粒子と部分的に重なり合う感覚を持つ。例えば、英語の「just」と「only」を排他的に用いている(John only/just drink water)。 自然言語におけるこれらの単語の頻度にもかかわらず、それらはその影響の微妙な性質のためにほとんど研究されていない。 自然会話におけるLLMの「正」と「のみ」に対する感度について,行動解析と力学解析を用いて検討した。 まず、LLMとヒトも同様に文脈におけるこれらの粒子の存在を好んでおり、両者とも「ただ」よりも「ただ」に敏感である。 第二に、これらの粒子を持つLLMからサンプリングする場合、LLMは元の文脈から、その粒子の感度を示すため、連続的に世代を評価できる。 どちらの実験でも、命令チューニングは感度を高める。 最後に、LLM内の粒子感受性単位をローカライズし、"just" と "only" の重なり合いは非対称である: "only" 単位は選択的に排他的 "just" に、"just" 単位はすべての "just" 単位は意味に関係なく等しく "only" に、LLM の語彙レベルの粒子表現は部分的に構成されていることを示唆する。 我々は https://github.com/JiahuiKChen/Not_Just_an_Evaluation でコード、感覚ラベル付き対話刺激、人間の嗜好アノテーションをリリースする。

関連論文リスト

• Does It Make Sense to Speak of Introspection in Large Language Models? [11.941576364484586]
  我々は,大規模言語モデルから明らかな内省的自己報告の2つの事例を提示し,批判する。 人間では、そのような報告はイントロスペクション(introspection)の学部によるものとされ、通常は意識と結びついている。
  論文  参考訳（メタデータ） (2025-06-05T14:13:54Z)
• Is It JUST Semantics? A Case Study of Discourse Particle Understanding in LLMs [47.462635654670386]
  本研究は、英語の「ジャスト」のきめ細かい感覚を識別するLLMの能力について考察する。 LLMはより広いカテゴリを区別する能力を持っているが、より微妙なニュアンスを完全に捉えるのに苦労している。
  論文  参考訳（メタデータ） (2025-06-05T00:59:05Z)
• Both Direct and Indirect Evidence Contribute to Dative Alternation Preferences in Language Models [18.643297700066448]
  変更点の選択に影響を与える2つの特性(長さとアニマシー)に焦点を当てる。 長さとアニマシーの直接的な証拠は重要であるが、そのような証拠がなくても、簡単優先の選好は継続する。 LMの創発的な構文的嗜好は、直接的および間接的ソースの混合に由来すると結論付けている。
  論文  参考訳（メタデータ） (2025-03-26T17:32:41Z)
• Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
  本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。 LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。 これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-06T05:15:34Z)
• "I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust [51.542856739181474]
  不確実性の自然言語表現の違いが、参加者の信頼、信頼、全体的なタスクパフォーマンスにどのように影響するかを示す。 その結果, 一人称表情は, 参加者のシステムに対する信頼度を低下させ, 参加者の正確性を高めつつ, システムの回答に同調する傾向にあることがわかった。 以上の結果から,不確実性の自然言語表現の使用は,LLMの過度な依存を軽減するための効果的なアプローチである可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-01T16:43:55Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
  テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。 そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。 分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T08:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。