論文の概要: Clusters are All You Need: Pre-Training the Tsetlin Machine with Semantic Clusters from Language Models for Interpretability

• arxiv url: http://arxiv.org/abs/2606.19815v1
• Date: Thu, 18 Jun 2026 05:43:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.66778
• Title: Clusters are All You Need: Pre-Training the Tsetlin Machine with Semantic Clusters from Language Models for Interpretability
• Title（参考訳）: クラスタがすべて必要である - 解釈可能性のための言語モデルからセマンティッククラスタによるTsetlinマシンの事前トレーニング
• Authors: Jiechao Gao, Rohan Kumar Yadav, Yuangang Li, Yuandong Pan, Jie Wang, Ying Liu, Michael Lepech,
• Abstract要約: BERTのような事前訓練された言語モデルは、強力なテキスト分類性能を実現するが、透明性は欠如している。 組込みを使わずに,事前学習した言語モデルからTMに知識を伝達するセマンティック事前学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.034780450032768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models such as BERT achieve strong text classification performance but lack transparency, limiting their use in high-stakes settings. The Tsetlin Machine (TM) offers fully interpretable, clause-based reasoning but captures little semantic information, and prior attempts to bridge the two rely on static word embeddings that miss contextual meaning. We propose a semantic pre-training framework that transfers knowledge from a pre-trained language model into a TM without using embeddings. Text samples are grouped into semantically coherent clusters with K-means or Top2Vec, and the resulting cluster-sample pairs pre-train a non-negated TM with enhanced Type I feedback. The TM thereby learns interpretable semantic keywords that are fine-tuned on downstream tasks. Across five datasets, our method substantially outperforms vanilla and embedding-based TMs and reaches performance competitive with BERT while remaining interpretable.
• Abstract（参考訳）: BERTのような事前訓練された言語モデルは、強いテキスト分類性能を達成するが、透明性が欠如し、高い文脈での使用を制限する。 Tsetlin Machine (TM)は、完全に解釈可能な節ベースの推論を提供するが、意味的な情報はほとんど得られず、以前の2つを橋渡ししようとする試みは、文脈的意味を欠く静的な単語の埋め込みに依存していた。 組込みを使わずに,事前学習した言語モデルからTMに知識を伝達するセマンティック事前学習フレームワークを提案する。 テキストサンプルはK-meansやTop2Vecとセマンティックにコヒーレントなクラスタにグループ化され、その結果、クラスタとサンプルのペアは、Type Iフィードバックが強化された非負のTMを事前トレーニングする。 これにより、TMは下流タスクで微調整された解釈可能なセマンティックキーワードを学習する。 5つのデータセットにまたがって,本手法はバニラや埋め込み型TMを著しく上回り,解釈可能ながらBERTと競合する性能に達する。

関連論文リスト

• LLM-Guided Semantic Bootstrapping for Interpretable Text Classification with Tsetlin Machines [9.034780450032768]
  BERTのような事前訓練された言語モデル(PLM)は強力な意味表現を提供するが、高価で不透明である。 本稿では,LLMの知識を記号形式に変換するセマンティックブートストラップフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T03:02:25Z)
• Beyond Statistical Co-occurrence: Unlocking Intrinsic Semantics for Tabular Data Clustering [52.97486694817375]
  本稿では,TagCC(Tabular-Augmented Contrastive Clustering)を提案する。 TagCCは、セマンティック・アウェア・トランスフォーメーションを通じて、基礎となるデータセマンティクスをテキストアンカーに蒸留する。 クラスタリングの目的と共同で最適化されており、学習した表現がセマンティックに一貫性があり、クラスタリングに親しみやすいことを保証する。
  論文  参考訳（メタデータ） (2026-04-13T00:25:22Z)
• Resource-Efficient Adaptation of Large Language Models for Text Embeddings via Prompt Engineering and Contrastive Fine-tuning [3.9914181590063884]
  大規模言語モデル(LLM)は自然言語処理(NLP)の基盤となっている。 プリトレーニングされたデコーダのみのLLMの適応戦略について検討する。
  論文  参考訳（メタデータ） (2025-07-30T14:49:30Z)
• Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens [57.37893387775829]
  我々はSemantic Equitable Clustering(SEC)という,高速かつバランスの取れたクラスタリング手法を導入する。 SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。 視覚言語コネクタとして機能する汎用視覚バックボーンであるSECViTを提案する。
  論文  参考訳（メタデータ） (2024-05-22T04:49:00Z)
• A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
  我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。 英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
  論文  参考訳（メタデータ） (2024-03-05T13:55:16Z)
• Advancing Incremental Few-shot Semantic Segmentation via Semantic-guided Relation Alignment and Adaptation [98.51938442785179]
  増分的な数ショットセマンティックセマンティックセマンティクスは、セマンティクスセマンティクスモデルを新しいクラスに漸進的に拡張することを目的としている。 このタスクは、データ不均衡のため、ベースクラスと新しいクラスの間で深刻な意味認識の問題に直面します。 本稿では,従来の意味情報のガイダンスを完全に考慮した意味誘導型関係調整適応法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T10:40:52Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [58.617025733655005]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Exploring Category Structure with Contextual Language Models and Lexical Semantic Networks [0.0]
  我々は、典型値の予測のために、CLMを探索するためのより広い範囲の手法を試験する。 BERTを用いた実験では,CLMプローブの適切な利用の重要性が示された。 その結果, この課題における多義性の重要性が浮き彫りとなった。
  論文  参考訳（メタデータ） (2023-02-14T09:57:23Z)
• Class Enhancement Losses with Pseudo Labels for Zero-shot Semantic Segmentation [40.09476732999614]
  マスクの提案モデルは、ゼロショットセマンティックセグメンテーションの性能を大幅に改善した。 トレーニング中にバックグラウンドを埋め込むことは問題であり、結果として得られたモデルが過剰に学習し、正しいラベルではなく、すべての見えないクラスをバックグラウンドクラスとして割り当てる傾向がある。 本稿では,学習中の背景埋め込みの使用を回避し,テキスト埋め込みとマスク提案のセマンティックな関係を類似度スコアのランク付けにより活用する新しいクラス拡張損失を提案する。
  論文  参考訳（メタデータ） (2023-01-18T06:55:02Z)
• Distributed Word Representation in Tsetlin Machine [14.62945824459286]
  Tsetlin Machine (TM) は命題論理に基づく解釈可能なパターン認識アルゴリズムである。 tmに事前学習した単語表現を用いる新しい手法を提案する。 このアプローチはTM性能を大幅に向上させ、同時に解釈性を維持します。
  論文  参考訳（メタデータ） (2021-04-14T14:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。