論文の概要: Concept Tokens: Learning Behavioral Embeddings Through Concept Definitions

• arxiv url: http://arxiv.org/abs/2601.04465v1
• Date: Thu, 08 Jan 2026 00:49:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:52.965669
• Title: Concept Tokens: Learning Behavioral Embeddings Through Concept Definitions
• Title（参考訳）: 概念トークン:概念定義による行動埋め込みの学習
• Authors: Ignacio Sastre, Aiala Rosá,
• Abstract要約: 本研究では,LLMに新たな特別なトークンを追加する軽量な方法であるConcept Tokensを提案し,その埋め込みを目標概念の自然言語定義からのみ学習する。 概念トークンは,HotpotQA上でのクローズドブック質問応答,第二言語教育のための教育的フィードバック戦略の再放送,エッフェル塔と架空の「オーストラルタワー」との質的研究の3つの設定で評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Concept Tokens, a lightweight method that adds a new special token to a pretrained LLM and learns only its embedding from multiple natural language definitions of a target concept, where occurrences of the concept are replaced by the new token. The LLM is kept frozen and the embedding is optimized with the standard language-modeling objective. We evaluate Concept Tokens in three settings. First, we study hallucinations in closed-book question answering on HotpotQA and find a directional effect: negating the hallucination token reduces hallucinated answers mainly by increasing abstentions, whereas asserting it increases hallucinations and lowers precision. Second, we induce recasting, a pedagogical feedback strategy for second language teaching, and observe the same directional effect. Moreover, compared to providing the full definitional corpus in-context, concept tokens better preserve compliance with other instructions (e.g., asking follow-up questions). Finally, we include a qualitative study with the Eiffel Tower and a fictional "Austral Tower" to illustrate what information the learned embeddings capture and where their limitations emerge. Overall, Concept Tokens provide a compact control signal learned from definitions that can steer behavior in frozen LLMs.
• Abstract（参考訳）: 本研究では,LLMに新たな特別なトークンを追加する軽量な方法であるConcept Tokensを提案し,その埋め込みを目標概念の複数の自然言語定義からのみ学習し,その概念の出現を新しいトークンに置き換える。 LLMは凍結され、埋め込みは標準言語モデリングの目的に最適化される。 概念トークンを3つの設定で評価する。 まず,HotpotQA上での閉書質問応答における幻覚について検討し,その方向性について考察する。 第2に、第2言語教育のための教育的フィードバック戦略であるリキャストを誘導し、同じ方向性の効果を観察する。 さらに、コンテクスト内で完全な定義コーパスを提供するのに対して、コンセプトトークンは、他の命令(例えばフォローアップ質問)とのコンプライアンスをよりよく保持する。 最後に、Eiffel Towerと架空の"Austral Tower"を使って、学習した埋め込みがどのような情報をキャプチャし、その限界がどこに現れるかを説明する定性的な研究を含む。 全体として、Concept Tokensは、凍結LDMの動作を制御できる定義から学んだ、コンパクトな制御信号を提供する。

関連論文リスト

• Improving Large Language Models with Concept-Aware Fine-Tuning [55.59287380665864]
  概念認識ファインチューニング(CAFT)は,大規模言語モデル(LLM)のための新しいマルチトークン学習手法である CAFTは複数のトークンにまたがるシーケンスの学習を可能にし、より強力な概念認識学習を促進する。 実験は、従来の次世代ファインタニング法と比較して大幅に改善された。
  論文  参考訳（メタデータ） (2025-06-09T14:55:00Z)
• Descriminative-Generative Custom Tokens for Vision-Language Models [101.40245125955306]
  本稿では,視覚言語モデル(VLM)における新しい概念を表現するためのカスタムトークンの学習の可能性について検討する。 本研究の目的は,識別的タスクと生成的タスクの両方に有効なトークンを学習し,単語をうまく合成して新しい入力クエリを構築することである。
  論文  参考訳（メタデータ） (2025-02-17T18:13:42Z)
• CBVLM: Training-free Explainable Concept-based Large Vision Language Models for Medical Image Classification [7.641602003136712]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、事前定義された人間の解釈可能な概念のセットにモデル出力を制約することで後者に対処する。 本稿では,これらの課題に対処する,シンプルで効果的な手法CBVLMを提案する。 4つの医療データセットと12のLVLMにまたがる広範囲な実験により,我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2025-01-21T16:38:04Z)
• Lego: Learning to Disentangle and Invert Personalized Concepts Beyond Object Appearance in Text-to-Image Diffusion Models [60.80960965051388]
  形容詞と動詞は名詞で絡み合っている(目的語) レゴは、シンプルだが効果的な対象分離ステップを使用して、関連する主題から概念を分離する。 レゴで作られたコンセプトは、ベースラインと比較して70%以上好まれていた。
  論文  参考訳（メタデータ） (2023-11-23T07:33:38Z)
• LEACE: Perfect linear concept erasure in closed form [97.78661458934953]
  概念消去は、埋め込みから特定の機能を削除することを目的としている。 LEAst-squares Concept Erasure (LEACE) は、すべての線形分類器が可能な限り少ない埋め込みで概念を検出することを確実に防止する閉形式手法である。 LEACEを"concept scrubbing"と呼ばれる新しい手法で大規模言語モデルに適用し、ネットワーク内の各層からターゲット概念情報を消去する。
  論文  参考訳（メタデータ） (2023-06-06T16:07:24Z)
• Visual Concepts Tokenization [65.61987357146997]
  本稿では,教師なしトランスフォーマーに基づく視覚概念トークン化フレームワーク VCT を提案する。 これらの概念トークンを得るためには、概念トークン間の自己注意なしで画像トークン層から視覚情報を抽出するために、クロスアテンションのみを用いる。 さらに,異なる概念トークンが独立した視覚概念を表現することを容易にするために,概念分離損失を提案する。
  論文  参考訳（メタデータ） (2022-05-20T11:25:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。