論文の概要: Exemplars in Disguise: Pure Exemplar Models Mimic Abstraction-First Learning

• arxiv url: http://arxiv.org/abs/2608.00821v1
• Date: Sat, 01 Aug 2026 18:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.948248
• Title: Exemplars in Disguise: Pure Exemplar Models Mimic Abstraction-First Learning
• Title（参考訳）: Exemplars in Disguise: Pure Exemplar Models Mimic Abstraction-First Learning
• Abstract要約: 近年の手法では、少なくとも大きな言語モデルでは、抽象的な知識が最初に学習されることが示されている。 アイテム固有の知識と抽象的な知識の区別は、分散表現では不定義であるかもしれないと論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Whether idiosyncratic, item-specific knowledge is learned before abstract class-level generalizations, or vice versa, is a central question in language learning, with exemplar and abstraction-based theories making opposite predictions. Recent methods have claimed to show that, at least for large language models, abstract knowledge is learned first. We show that these methods fall short: pure memorizer models with no abstract representations can appear, by the same criteria, to learn either item-specific or class-level knowledge first, depending on their sensitivity to individual observations, with the transition point governed by the distributional properties of the input. We further argue that the distinction between item-specific and abstract knowledge may be ill-defined for distributed representations, as a word's class-level properties may not be separable from its item-specific properties.
• Abstract（参考訳）: 抽象クラスレベルの一般化の前に、慣用的な、項目固有の知識が学習されるか、あるいはその逆も、言語学習における中心的な問題である。 近年の手法では、少なくとも大きな言語モデルでは、抽象的な知識が最初に学習されることが示されている。 抽象表現を持たない純粋な記憶器モデルは、個々の観察に対する感度に応じて、アイテム固有の知識またはクラスレベルの知識を第一に学習し、入力の分布特性によって支配される遷移点を同じ基準で示すことができる。 さらに、単語のクラスレベルの特性は、項目固有の性質とは分離できないため、項目固有の知識と抽象的な知識の区別が分散表現に悪影響を及ぼす可能性があると論じる。

関連論文リスト

• Causal Abstraction Inference under Lossy Representations [53.18851962820361]
  我々は、既存の定義を一般化して損失表現に適合させる、投影抽象化と呼ばれる新しいタイプの抽象化を導入する。 低レベルモデルから投影された抽象化を構築する方法と、それと等価な観察的、介入的、および反ファクト的因果クエリを低レベルから高レベルに翻訳する方法を示す。
  論文  参考訳（メタデータ） (2025-09-25T21:20:42Z)
• Abstraction Alignment: Comparing Model-Learned and Human-Encoded Conceptual Relationships [21.223581498627038]
  モデル行動と形式的人間の知識を比較する手法である抽象的アライメントを導入する。 抽象化アライメントは、抽象グラフとしてドメイン固有の人間の知識を外部化する。 ユーザーは、モデルが学んだ人間の概念など、アライメント仮説をテストすることができる。
  論文  参考訳（メタデータ） (2024-07-17T13:27:26Z)
• AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
  抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。 本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
  論文  参考訳（メタデータ） (2023-11-15T18:11:23Z)
• Relate to Predict: Towards Task-Independent Knowledge Representations for Reinforcement Learning [11.245432408899092]
  強化学習は、エージェントが複雑なタスクを学習できるようにする。 知識を解釈し、タスク間で再利用することは難しい。 本稿では,対象中心の知識分離を明示する帰納的バイアスを導入する。 知識分離における明示性の程度は、学習の高速化、精度の向上、一般化の向上、理解可能性の向上と相関していることを示す。
  論文  参考訳（メタデータ） (2022-12-10T13:33:56Z)
• Multi-Faceted Distillation of Base-Novel Commonality for Few-shot Object Detection [58.48995335728938]
  基本クラスと新規クラスの間に3種類のクラスに依存しない共通点を明示的に学習する。 提案手法は,既存の微調整方式のほとんどに容易に統合でき,一貫した性能向上が期待できる。
  論文  参考訳（メタデータ） (2022-07-22T16:46:51Z)
• ELUDE: Generating interpretable explanations via a decomposition into labelled and unlabelled features [23.384134043048807]
  モデルの予測を2つの部分に分解する説明フレームワークを開発する。 後者を識別することで、モデルの"説明できない"部分を分析することができます。 また,同機能領域で訓練された複数のモデルに対して,非競合機能セットが一般化可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-15T17:36:55Z)
• VGSE: Visually-Grounded Semantic Embeddings for Zero-Shot Learning [113.50220968583353]
  ゼロショット学習のための識別的視覚特性を含むセマンティック埋め込みを発見することを提案する。 本モデルでは,画像の集合を視覚的類似性に応じて局所的な画像領域の集合に視覚的に分割する。 視覚的に接地されたセマンティック埋め込みは、様々なZSLモデルにまたがる単語埋め込みよりも、大きなマージンで性能を向上することを示した。
  論文  参考訳（メタデータ） (2022-03-20T03:49:02Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
  画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。 提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2021-04-20T17:56:24Z)
• A learning perspective on the emergence of abstractions: the curious case of phonemes [2.580765958706854]
  言語訓練のない言語使用者を対象に,言語知識の発達に関する2つの原則を検証した。 MBL と ECL が言語抽象化に類似した言語知識を創出できるかどうかを調査した。 ECL学習モデルは抽象化を学習でき、少なくとも携帯電話の在庫の少なくとも一部を入力から確実に識別できることを示す。
  論文  参考訳（メタデータ） (2020-12-14T13:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。