論文の概要: An Algorithmic Account of Few-Shot Concept Induction in Language Models

• arxiv url: http://arxiv.org/abs/2610.35533v1
• Date: Mon, 26 Oct 2026 14:48:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.037042
• Title: An Algorithmic Account of Few-Shot Concept Induction in Language Models
• Title（参考訳）: 言語モデルにおけるFew-Shot概念誘導のアルゴリズム的考察
• Abstract要約: 本稿では,数発のコンセプト誘導の文脈において,関連性がどのように決定されるかを説明するアルゴリズム仮説を提案する。 数発のコンセプト誘導タスクを用いて,言語モデルにおけるADAを検証・検証する。
• 参考スコア（独自算出の注目度）: 18.52625826108073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Both models and minds not only encode features that describe an entity, but can specifically represent which features of that entity are relevant for a given context. This core capability underlies in-context learning in language models and a variety of cognitive phenomena in minds, yet it is unclear how intelligent systems identify and promote relevant features. In this work, we propose Amortized Direction Accentuation (ADA), an algorithmic hypothesis that provides an explanation for how relevance is determined in the context of few-shot concept induction --- the ability to infer a latent concept from a small number of positive examples. Under ADA, concept induction proceeds by forming a summary representation of the examples in a feature space that is shaped by amortized knowledge about which features tend to be useful for finding commonalities between items. We investigate and validate ADA in language models using a few-shot concept induction task. This work provides a novel perspective on the mechanisms supporting contextualization in language models and a promising hypothesis for a core aspect of cognition.
• Abstract（参考訳）: モデルとマインドの両方がエンティティを記述する機能をエンコードするだけでなく、そのエンティティのどの機能が特定のコンテキストに関連しているかを具体的に表現することができます。 この中核的な能力は、言語モデルにおけるコンテキスト内学習と、心の中の様々な認知現象の根底にあるが、インテリジェントシステムが関連する特徴をどう認識し、促進するかは定かではない。 本研究では,少数ショット概念帰納の文脈において関連性がどのように決定されるかを説明するアルゴリズム仮説であるAmortized Direction Accentuation (ADA)を提案する。 ADAの下では、概念誘導は、アイテム間の共通点を見つけるのにどの特徴が有用かという記憶された知識によって形成された特徴空間における例の要約表現を形成することによって進行する。 数発のコンセプト誘導タスクを用いて,言語モデルにおけるADAを検証・検証する。 この研究は、言語モデルにおける文脈化を支援するメカニズムに関する新しい視点と、認知の中核的な側面に対する有望な仮説を提供する。

関連論文リスト

• On the Power and Limitations of Examples for Description Logic Concepts [6.776119962781556]
  記述論理概念記述のためのラベル付き例のパワーについて検討する。 具体的には,有限特性化の存在と効率的な計算可能性について検討する。
  論文  参考訳（メタデータ） (2024-12-23T07:17:58Z)
• On the Role of Entity and Event Level Conceptualization in Generalizable Reasoning: A Survey of Tasks, Methods, Applications, and Future Directions [62.06913340614293]
  本稿では,概念化されるインスタンスのタイプに基づいて,異なる概念化のタイプを4つのレベルに分類する。 本稿では,150以上の論文を包括的に調査し,概念化に関連するさまざまな定義,リソース,手法,下流アプリケーションについて調査する。
  論文  参考訳（メタデータ） (2024-06-16T10:32:41Z)
• Explaining Explainability: Recommendations for Effective Use of Concept Activation Vectors [35.37586279472797]
  概念ベクトル活性化(Concept Vector Activations, CAV)は、概念実証者のプローブデータセットを用いて学習される。 CAVの3つの特性として,層間不整合,(2)他の概念との絡み合い,(3)空間依存性について検討する。 これらの特性の存在を検出するためのツールを導入し、各特性がどのように誤解を招くのかを洞察し、その影響を軽減するためのレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2024-04-04T17:46:20Z)
• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• A Geometric Notion of Causal Probing [85.49839090913515]
  線形部分空間仮説は、言語モデルの表現空間において、動詞数のような概念に関するすべての情報が線形部分空間に符号化されていることを述べる。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 2つの言語モデルにまたがる少なくとも1つの概念に対して、この概念のサブスペースは、生成された単語の概念値を精度良く操作することができる。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)
• ConceptX: A Framework for Latent Concept Analysis [21.760620298330235]
  本稿では,言語モデル(pLM)における潜在表現空間の解釈と注釈付けを行うための,ループ型ヒューマン・イン・ザ・ループ・フレームワークであるConceptXを提案する。 我々は、教師なしの手法を用いて、これらのモデルで学んだ概念を発見し、人間が概念の説明を生成するためのグラフィカルインターフェースを実現する。
  論文  参考訳（メタデータ） (2022-11-12T11:31:09Z)
• Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
  概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。 次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。 最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
  論文  参考訳（メタデータ） (2022-02-25T01:27:31Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。