論文の概要: A Comparative Study of Feature Selection in Tsetlin Machines

• arxiv url: http://arxiv.org/abs/2508.06991v1
• Date: Sat, 09 Aug 2025 14:02:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.643814
• Title: A Comparative Study of Feature Selection in Tsetlin Machines
• Title（参考訳）: Tsetlin マシンにおける特徴選択の比較検討
• Authors: Vojtech Halenka, Ole-Christoffer Granmo, Lei Jiao, Per-Arne Andersen,
• Abstract要約: 特徴選択(FS)は、モデルの解釈可能性の向上、複雑さの低減、時には精度の向上に不可欠である。 最近導入されたTsetlin Machine (TM)は、解釈可能な節ベースの学習を提供するが、機能の重要性を推定するための確立したツールがない。 本研究は、TMにおけるFSの包括的ベースラインを確立し、特殊なTM特異的解釈可能性技術を開発するための道を開く。
• 参考スコア（独自算出の注目度）: 14.150011713654331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature Selection (FS) is crucial for improving model interpretability, reducing complexity, and sometimes for enhancing accuracy. The recently introduced Tsetlin machine (TM) offers interpretable clause-based learning, but lacks established tools for estimating feature importance. In this paper, we adapt and evaluate a range of FS techniques for TMs, including classical filter and embedded methods as well as post-hoc explanation methods originally developed for neural networks (e.g., SHAP and LIME) and a novel family of embedded scorers derived from TM clause weights and Tsetlin automaton (TA) states. We benchmark all methods across 12 datasets, using evaluation protocols, like Remove and Retrain (ROAR) strategy and Remove and Debias (ROAD), to assess causal impact. Our results show that TM-internal scorers not only perform competitively but also exploit the interpretability of clauses to reveal interacting feature patterns. Simpler TM-specific scorers achieve similar accuracy retention at a fraction of the computational cost. This study establishes the first comprehensive baseline for FS in TM and paves the way for developing specialized TM-specific interpretability techniques.
• Abstract（参考訳）: 特徴選択(FS)は、モデルの解釈可能性の向上、複雑さの低減、時には精度の向上に不可欠である。 最近導入されたTsetlin Machine (TM)は、解釈可能な節ベースの学習を提供するが、機能の重要性を推定するための確立したツールがない。 本稿では,従来のフィルタや組込み手法,ニューラルネットワーク(例えばSHAPやLIME)用に開発されたポストホックな説明手法や,TM節重みとTsetlin Automaticon(TA)状態から派生した新しい組込みスコアラーのファミリーなど,TMのFS技術の範囲を適応し,評価する。 Remove and Retrain(ROAR)戦略やRemove and Debias(ROAD)といった評価プロトコルを使用して、12データセットにわたるすべてのメソッドをベンチマークして、因果影響を評価します。 その結果,TM-internal scorerは競合するだけでなく,節の解釈可能性を利用して相互作用する特徴パターンを明らかにすることができた。 より単純なTM固有のスコアラは、計算コストのごく一部で同様の精度の保持を達成する。 本研究は、TMにおけるFSの包括的ベースラインを確立し、特殊なTM特異的解釈可能性技術を開発するための道を開く。

関連論文リスト

• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders [50.52694757593443]
  既存のSAEトレーニングアルゴリズムは厳密な数学的保証を欠いていることが多く、実用的な制限に悩まされている。 まず,特徴の特定可能性という新たな概念を含む特徴回復問題の統計的枠組みを提案する。 本稿では、ニューラルネットワークのバイアスパラメータを適応的に調整し、適切なアクティベーション間隔を確保する手法である「バイアス適応」に基づく新たなSAEトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-16T20:58:05Z)
• Cognitive-Mental-LLM: Evaluating Reasoning in Large Language Models for Mental Health Prediction via Online Text [0.0]
  本研究では,Reddit から得られた複数のメンタルヘルスデータセットの分類精度を向上させるため,構造化推論手法-Chain-of-Thought (CoT), Self-Consistency (SC-CoT), Tree-of-Thought (ToT) の評価を行った。 我々は,Zero-shot CoTやFew-shot CoTといった推論駆動型プロンプト戦略を,Ba balanced Accuracy,F1 score,Sensitivity/Specificityといった重要なパフォーマンス指標を用いて分析する。 以上の結果から,特に複雑な場合において,推論手法により直接予測よりも分類性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-03-13T06:42:37Z)
• Teaching LLMs According to Their Aptitude: Adaptive Reasoning for Mathematical Problem Solving [55.895917967408586]
  大規模な言語モデルによる数学的推論への既存のアプローチは、一般化可能性(英語版)にはChain-of-Thought(英語版)(CoT)、正確な計算にはTool-Integrated Reasoning(英語版)(TIR)に依存している。 本稿では, LLM が自然に推論戦略をパーソナライズできる適応型フレームワークである TATA (Teaching LLMs according their Aptitude) を提案する。
  論文  参考訳（メタデータ） (2025-02-17T16:56:23Z)
• DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers [34.282971510732736]
  我々は、セレクタ分類器アーキテクチャを備えた新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介する。 弱いモデルの合成は高い多様性を示すことができ、それらの結合は精度の上限を大幅に高めることができる。 我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識のための時系列データセットに基づいて評価する。
  論文  参考訳（メタデータ） (2024-03-14T02:11:38Z)
• Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。 近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
  論文  参考訳（メタデータ） (2023-03-13T17:59:02Z)
• Machine Learning Capability: A standardized metric using case difficulty with applications to individualized deployment of supervised machine learning [2.2060666847121864]
  モデル評価は教師付き機械学習分類解析において重要な要素である。 アイテム応答理論(IRT)と機械学習を用いたコンピュータ適応テスト(CAT)は、最終分類結果とは無関係にデータセットをベンチマークすることができる。
  論文  参考訳（メタデータ） (2023-02-09T00:38:42Z)
• Mutual-Information Based Few-Shot Classification [34.95314059362982]
  数ショット学習のためのTIM(Transductive Infomation Maximization)を提案する。 提案手法は,与えられた数発のタスクに対して,クエリ特徴とラベル予測との相互情報を最大化する。 そこで我々は,勾配に基づく最適化よりもトランスダクティブ推論を高速化する交代方向解法を提案する。
  論文  参考訳（メタデータ） (2021-06-23T09:17:23Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。