論文の概要: LECAT: Measuring LLM Category Learning from Pretraining Data
- arxiv url: http://arxiv.org/abs/2611.18419v1
- Date: Fri, 13 Nov 2026 16:59:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.3984
- Title: LECAT: Measuring LLM Category Learning from Pretraining Data
- Title(参考訳): LECAT:事前学習データからLLMカテゴリー学習を測定する
- Abstract要約: 我々はLeCatを用いて、カテゴリ知識の学習能力のモデルを評価する。
まず199のカテゴリ機能ペアを用いて、オープンソースの事前学習モデルを評価し、そのトレーニングデータを解析する。
以上の結果から,文脈の強化とカテゴリー-特徴共起可能性 (PMI) が大規模モデルの学習を改善することが示唆された。
これらの効果を体系的に分離するために、トレーニングデータに見るカテゴリ情報を正確に制御し、スクラッチから68Mモデルを訓練する。
- 参考スコア(独自算出の注目度): 33.653900231035124
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans know that airplanes are fast, that this extends to red airplanes, but that it does not hold for broken airplanes. How do LLMs acquire category knowledge that humans learn and apply effortlessly? We introduce LeCat, a two-part framework to analyze LLM's Learning of Category knowledge. First, we use LeCat to evaluate models on their ability to learn category knowledge, distinguishing between three cases: memorization of in-domain category knowledge, generalization to unseen instances, and ability to flexibly use knowledge in appropriate contexts. Then, we use LeCat to trace how this knowledge can be learned in pretraining from text that may encode category knowledge in various ways, such as verbatim repetition or exceptions, which we refer to as forms of "knowledge expression". We first assess open-source pretrained models using 199 curated category-feature pairs and analyze their training data. Our findings suggest that strengthening context and category-feature co-occurrence likelihood (PMI) improve learning for larger models and verbatim rule-like statements diminish flexible category learning. To systematically isolate these effects, we then train a 68M model from scratch with precise control over the categorical information each sees in their training data, confirming that verbatim repetition reduces flexible learning but mixture of diverse knowledge expressions lead to more robust category learning. Together, our findings highlight that while contextual flexibility is persistently difficult for models, how category knowledge is expressed in pretraining greatly impacts models' acquisition of robust category knowledge.
- Abstract(参考訳): 人間は飛行機が速く、赤い飛行機まで伸びていることを知っているが、壊れた飛行機には耐えられない。
LLMは、人間が学習し、積極的に適用するカテゴリ知識をどうやって取得するか?
我々はLLMのカテゴリー知識の学習を分析するための2部構成のフレームワークであるLeCatを紹介する。
まずLeCatを用いて、カテゴリ知識の学習能力の評価を行い、ドメイン内のカテゴリ知識の記憶、目に見えないインスタンスへの一般化、適切な文脈で知識を柔軟に活用する能力の3つの事例を区別する。
そして、この知識が、動詞の繰り返しや例外など、様々な方法でカテゴリ知識を符号化するテキストから、どのようにして「知識表現」の形式を学習できるかを、LeCatを用いて追跡する。
まず、199のキュレートされたカテゴリ機能ペアを用いて、オープンソースの事前学習モデルを評価し、それらのトレーニングデータを解析する。
以上の結果から,文脈の強化とカテゴリー-特徴共起可能性(PMI)がより大きなモデルの学習を改善することが示唆された。
これらの効果を体系的に分離するために,学習データに含まれるカテゴリー情報を正確に制御して68Mモデルをスクラッチからトレーニングし,適応的反復が柔軟な学習を減少させるが,多様な知識表現の混合はより堅牢なカテゴリ学習をもたらすことを確認した。
この結果から,文脈的柔軟性はモデルにとって持続的に困難であるが,カテゴリー知識が事前学習においてどのように表現されるかは,モデルによる頑健なカテゴリ知識の獲得に大きな影響を及ぼすことが明らかとなった。
関連論文リスト
- External Knowledge Injection for CLIP-Based Class-Incremental Learning [62.516402566610395]
CIL(Class-Incremental Learning)は、学習システムが進化するデータストリームに継続的に適応できるようにする。
本稿では,CLIP ベースの CIL のための ExterNal knowledGe INjEction (ENGINE) を紹介する。
論文 参考訳(メタデータ) (2025-03-11T15:00:22Z) - A Zero-shot Learning Method Based on Large Language Models for Multi-modal Knowledge Graph Embedding [8.56384109338971]
ゼロショット学習(ZL)は、自然言語処理、画像分類、言語間移動など、目に見えないカテゴリーのタスクに不可欠である。
大規模言語モデル(LLM)を用いたMMKGのゼロショット埋め込み学習フレームワークZSLLMを提案する。
論文 参考訳(メタデータ) (2025-03-10T11:38:21Z) - Large Language Models For Text Classification: Case Study And Comprehensive Review [0.3428444467046467]
各種言語モデル(LLM)の性能を,最先端のディープラーニングモデルや機械学習モデルと比較して評価する。
本研究は,提案手法に基づくモデル応答の有意な変動を明らかにした。
論文 参考訳(メタデータ) (2025-01-14T22:02:38Z) - Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge [55.65162959527848]
大規模言語モデルは、多くの知識集約的なタスクにおいて優れたパフォーマンスを示している。
しかし、事前学習データには誤解を招く傾向があり、矛盾する情報も含まれている。
本研究では,LLMの学習嗜好を,矛盾する知識を持つデータに対して体系的に分析する。
論文 参考訳(メタデータ) (2024-10-07T06:49:41Z) - Knowledge Adaptation Network for Few-Shot Class-Incremental Learning [23.90555521006653]
クラス増分学習(class-incremental learning)は、いくつかのサンプルを使用して、新しいクラスを段階的に認識することを目的としている。
この問題を解決する効果的な方法の1つは、原型進化分類器を構築することである。
新しいクラスの表現は弱で偏りがあるので、そのような戦略は準最適であると主張する。
論文 参考訳(メタデータ) (2024-09-18T07:51:38Z) - Boosting Audio-visual Zero-shot Learning with Large Language Models [32.533844163120875]
我々はKDA(KnowleDge-Augmented Audio-visual Learning)というフレームワークを導入する。
提案したKDAは、一般的な3つのゼロショット学習データセットにおいて最先端の手法より優れている。
論文 参考訳(メタデータ) (2023-11-21T01:18:23Z) - AttriCLIP: A Non-Incremental Learner for Incremental Knowledge Learning [53.32576252950481]
連続学習は、モデルが逐次到着したデータから段階的に知識を学習できるようにすることを目的としている。
本稿では,新しいクラスやタスクの知識を段階的に抽出する,AttriCLIPという非インクリメンタル学習手法を提案する。
論文 参考訳(メタデータ) (2023-05-19T07:39:17Z) - ALICE: Active Learning with Contrastive Natural Language Explanations [69.03658685761538]
本研究では,学習におけるデータ効率を向上させるために,AlICEを用いたアクティブラーニングを提案する。
ALICEは、まずアクティブラーニングを使用して、最も情報に富んだラベルクラスを選択し、対照的な自然言語の説明を引き出す。
意味的に抽出された知識を用いて、これらの説明から知識を抽出する。
論文 参考訳(メタデータ) (2020-09-22T01:02:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。