論文の概要: Latent Taxonomies: How Property Induction Develops in Language Model Pre-training

• arxiv url: http://arxiv.org/abs/2610.15836v1
• Date: Sun, 11 Oct 2026 18:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 15:40:02.592124
• Title: Latent Taxonomies: How Property Induction Develops in Language Model Pre-training
• Title（参考訳）: 潜在分類学:言語モデル事前学習における特性誘導の展開
• Abstract要約: 共有するプロパティによってグループ化された合成エンティティの階層的な分類法を構築する。 分類学的に整列した帰納法は,次の予測のみから生じることが判明した。 データ予算が固定された場合、モデルサイズでインダクションが弱まることが分かりました。
• 参考スコア（独自算出の注目度）: 20.41810531172996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When told that robins have sesamoid bones, people are far more prone to extend the property to sparrows than to whales. This behavior, called category-based property induction, is well documented in humans, but whether and how it develops in language models trained only to predict the next token is unclear. To shed light on this, we construct a hierarchical taxonomy of synthetic entities grouped by the properties they share. We then inject facts from this latent taxonomy into the continued pre-training of Pythia and OLMo 2 models from 70M to 7B parameters, and track the development of inductive behaviors. We find that taxonomically aligned induction emerges from next-token prediction alone: a property learned for one entity transfers more strongly within its taxonomic category than across categories. Internally, entities that share a deeper category become more similar in activation space, and clustering recovers the full taxonomic tree from entity representations. Contrary to the usual expectation that scale helps, we find that induction weakens with model size when the data budget is fixed, suggesting that larger models memorize individual facts rather than compress them into shared structure. Induction also strengthens with more pre-training before the taxonomy injection, transfers to novel in-context properties, and can be overridden by a latent taxonomy implied by the prompt. Together, these results show that a model's inductive generalization reflects the latent organization of its training data, with implications for data curation and for predicting how far a learned fact will spread.
• Abstract（参考訳）: ゴキブリがゴキブリの骨を持っていると言えば、人々はクジラよりもスズメにその資産を拡大する傾向があります。 カテゴリーベースプロパティ誘導と呼ばれるこの振る舞いは、人間によって十分に文書化されているが、次のトークンを予測するために訓練された言語モデルでどのように発達するかは不明確である。 これを明らかにするために、我々は、共有する性質によってグループ化された合成実体の階層的分類を構築した。 次に,70Mから7BパラメータのPythiaとOLMo 2モデルの継続事前学習に,この潜伏した分類学から事実を注入し,誘導行動の発達を追跡する。 分類学的に整列した帰納的帰納は,次の予測のみから生じることが判明した。 内部的には、より深いカテゴリを共有するエンティティは活性化空間においてより類似し、クラスタリングはエンティティ表現から完全な分類木を復元する。 スケールが一般的な期待に反して、データ予算が固定された場合、インダクションはモデルサイズに弱まり、より大きなモデルは共有構造に圧縮するのではなく、個々の事実を記憶する。 誘導はまた、分類学の注入の前により事前訓練を行い、新しい文脈内特性に移行し、プロンプトによって示唆される潜伏した分類学によってオーバーライドされる。 これらの結果から,モデルの帰納的一般化はトレーニングデータの潜在的な組織化を反映し,データキュレーションや学習事実がどこまで広がるかを予測することが示唆された。

関連論文リスト

• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Characterizing the Role of Similarity in the Property Inferences of Language Models [18.343082712114715]
  本研究では, 行動・因果的表現解析実験を用いて, LMの資産継承について検討する。 分類学と分類学的類似性は、LMsの資産相続行動において相互に排他的ではない。 本研究は,言語モデルの概念的構造に関する知見を提供し,人体に対する新たな心理言語学的実験を提案する。
  論文  参考訳（メタデータ） (2024-10-29T23:05:41Z)
• Bringing motion taxonomies to continuous domains via GPLVM on hyperbolic manifolds [8.385386712928785]
  人間の動きは、人間の動きと環境との相互作用の仕方を分類する高レベルの階層的抽象化として機能する。 本稿では,関連する階層構造を捉えるハイパーボリック埋め込みを用いて分類データをモデル化することを提案する。 本モデルでは,既存の分類群や新分類群の未確認データを適切にエンコードし,EuclideanおよびVAEベースの分類群よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-04T15:19:24Z)
• Who Should Go First? A Self-Supervised Concept Sorting Model for Improving Taxonomy Expansion [50.794640012673064]
  データとビジネスの範囲が実際のアプリケーションで拡大するにつれ、既存の概念を組み込むために拡張する必要がある。 分類学の拡張に関する以前の研究は、新しい概念を独立して同時に処理し、それらの間の潜在的な関係と操作を挿入する適切な順序を無視します。 本稿では,新しい概念の中で局所ハイパーニム・ハイプニム構造を同時に発見し,挿入順序を決定する新しい自己教師付きフレームワークであるtaxoorderを提案する。
  論文  参考訳（メタデータ） (2021-04-08T11:00:43Z)
• Octet: Online Catalog Taxonomy Enrichment with Self-Supervision [67.26804972901952]
  オンラインカタログエンリッチメンTのための自己教師型エンドツーエンドフレームワークOctopを提案する。 本稿では,用語抽出のためのシーケンスラベリングモデルをトレーニングし,分類構造を捉えるためにグラフニューラルネットワーク(GNN)を用いることを提案する。 Octetは、オンラインカタログを、オープンワールド評価の2倍に強化する。
  論文  参考訳（メタデータ） (2020-06-18T04:53:07Z)
• STEAM: Self-Supervised Taxonomy Expansion with Mini-Paths [53.45704816829921]
  本稿では,STEAMという自己管理型分類拡張モデルを提案する。 STEAMは自然の自己超越信号を生成し、ノードアタッチメント予測タスクを定式化する。 実験の結果、STEAMは11.6%の精度と7.0%の相反ランクで、最先端の分類法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-18T00:32:53Z)
• TaxoExpan: Self-supervised Taxonomy Expansion with Position-Enhanced Graph Neural Network [62.12557274257303]
  分類学は機械解釈可能な意味論から成り、多くのウェブアプリケーションに貴重な知識を提供する。 そこで我々は,既存の分類学から,クエリの集合を自動生成するTaxoExpanという,新しい自己教師型フレームワークを提案する。 本研究では,(1)既存の分類学におけるアンカー概念の局所構造を符号化する位置強調グラフニューラルネットワーク,(2)学習モデルが自己超越データにおけるラベルノイズに敏感になるようなノイズローバスト学習の2つの手法を開発する。
  論文  参考訳（メタデータ） (2020-01-26T21:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。