論文の概要: Failures and Successes to Learn a Core Conceptual Distinction from the Statistics of Language

• arxiv url: http://arxiv.org/abs/2607.04523v1
• Date: Sun, 05 Jul 2026 22:05:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.968878
• Title: Failures and Successes to Learn a Core Conceptual Distinction from the Statistics of Language
• Title（参考訳）: 言語統計から中核概念の識別を学習する失敗と成功
• Authors: Zhimin Hu, Jeroen van Paridon, Gary Lupyan,
• Abstract要約: 原理的特性と統計的性質の区別が言語自体から学べるかどうかを考察する。 言語モデルは,すべて統計的有病率に敏感であるが,有病率を規定する原理的なvs統計的区別の表現に苦慮している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generic statements like "tigers are striped" and "cars have radios" communicate information that is, in general, true. However, while the first statement is true in principle, the second is true only statistically. People are exquisitely sensitive to this principled-vs-statistical distinction. It has been argued that this ability to distinguish between something being true by virtue of it being a category member versus being true because of mere statistical regularity, is a general property of people's conceptual machinery and cannot itself be learned. We investigate whether the distinction between principled and statistical properties can be learned from language itself. If so, it raises the possibility that language experience can bootstrap core conceptual distinctions and that it is possible to learn sophisticated causal models directly from language. We find that language models are all sensitive to statistical prevalence, but struggle with representing the principled-vs-statistical distinction controlling for prevalence. Until GPT-4, which succeeds.
• Abstract（参考訳）: タイガーはストライプ」や「車は無線を持っている」といったジェネリックな言明は、一般に真実である情報を伝達する。 しかし、第一の言明は原理的には真であるが、第二の言明は統計的にのみ真である。 人々はこの原則化されたvs統計的な区別に非常に敏感です。 単なる統計的規則性のため、カテゴリーメンバーであることと真であることとを区別する能力は、人々の概念機械の一般的な特性であり、それ自体は学べない、と論じられている。 原理的特性と統計的性質の区別が言語自体から学べるかどうかを考察する。 もしそうなら、言語体験が中核的な概念的区別をブートストラップできる可能性を高め、言語から直接洗練された因果モデルを学ぶことができる。 言語モデルは,すべて統計的有病率に敏感であるが,有病率を規定する原理的なvs統計的区別の表現に苦慮している。 GPT-4が成功するまで。

関連論文リスト

• Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs [13.891522069967507]
  建設文法は統計的プリエンプション(英語版)を提案している: 従来の形式への露出は構造的に可能であるが、証明されていない代替手段を前提としている。 本稿では,大規模言語モデルにおいて,競合するエンレンチメント仮説から統計的プリエンプションを解離する計算手法を提案する。
  論文  参考訳（メタデータ） (2026-05-21T21:06:43Z)
• Counterfactual reasoning: an analysis of in-context emergence [57.118735341305786]
  我々は、言語モデルが反実的推論が可能なことを示す。 自己注意、モデル深度、トレーニング済みデータの多様性によってパフォーマンスが向上することがわかった。 以上の結果から, SDE 動態下での反実的推論が可能となった。
  論文  参考訳（メタデータ） (2025-06-05T16:02:07Z)
• Tracing Multilingual Factual Knowledge Acquisition in Pretraining [83.93508231653091]
  大規模言語モデル(LLM)は、事前学習データに存在する多言語事実知識をリコールすることができる。 我々は,OLMo-7Bに焦点をあてて,事前学習中に現実のリコールと言語間の整合性がどのように進化するかを辿った。 ほとんどの言語では、正確性と一貫性が時間の経過とともに向上していることが分かりました。
  論文  参考訳（メタデータ） (2025-05-20T18:39:56Z)
• Perceptions of Linguistic Uncertainty by Language Models and Humans [26.69714008538173]
  言語モデルが不確実性の言語表現を数値応答にどうマッピングするかを検討する。 10モデル中7モデルで不確実性表現を確率的応答に人間的な方法でマッピングできることが判明した。 この感度は、言語モデルは以前の知識に基づいてバイアスの影響を受けやすいことを示している。
  論文  参考訳（メタデータ） (2024-07-22T17:26:12Z)
• Physics of Language Models: Part 3.2, Knowledge Manipulation [51.68385617116854]
  本稿では,4つの基本的な知識操作タスクについて検討する。 言語モデルは知識検索に優れるが、最も単純な分類や比較タスクにも耐え難い。 また, GPT-4のような近代的な事前学習言語モデルにも適用できる。
  論文  参考訳（メタデータ） (2023-09-25T17:50:41Z)
• Concept-Based Explanations to Test for False Causal Relationships Learned by Abusive Language Classifiers [7.022948483613113]
  大規模な英語データセットで訓練された3つのよく知られた乱用言語分類器について考察する。 まず,すべての決定しきい値にまたがる課題に対して,その正確さを評価することによって,分類器が学習した不要な依存関係について検討する。 次に、概念に基づく説明指標を導入し、概念がラベルに与える影響を評価する。
  論文  参考訳（メタデータ） (2023-07-04T19:57:54Z)
• False perspectives on human language: why statistics needs linguistics [0.8699677835130408]
  統計的測度は, 構造的モデルと非構造的モデルのいずれかに基づいて定義できることを示す。 構文構造を反映した仮定モデルのみが、言語の規則性を考慮できる。
  論文  参考訳（メタデータ） (2023-02-17T11:40:32Z)
• Mitigating Biases in Toxic Language Detection through Invariant Rationalization [70.36701068616367]
  性別、人種、方言などの属性に対するバイアスは、毒性検出のためのほとんどのトレーニングデータセットに存在する。 本稿では,論理生成器と予測器から構成されるゲーム理論フレームワークである不変合理化(InvRat)を用いて,特定の構文パターンの素早い相関を除外することを提案する。 本手法は, 語彙属性と方言属性の両方において, 従来のデバイアス法よりも低い偽陽性率を示す。
  論文  参考訳（メタデータ） (2021-06-14T08:49:52Z)
• Do Language Embeddings Capture Scales? [54.1633257459927]
  事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。 我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
  論文  参考訳（メタデータ） (2020-10-11T21:11:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。