論文の概要: Omni TM-AE: A Scalable and Interpretable Embedding Model Using the Full Tsetlin Machine State Space

• arxiv url: http://arxiv.org/abs/2505.16386v1
• Date: Thu, 22 May 2025 08:38:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.155137
• Title: Omni TM-AE: A Scalable and Interpretable Embedding Model Using the Full Tsetlin Machine State Space
• Title（参考訳）: Omni TM-AE:完全なTsetlinマシン状態空間を用いたスケーラブルで解釈可能な埋め込みモデル
• Authors: Ahmed K. Kadhim, Lei Jiao, Rishad Shafik, Ole-Christoffer Granmo,
• Abstract要約: Omni Tsetlin Machine AutoEncoder (Omni TM-AE) は、TMの状態行列に含まれる情報を利用する新しい埋め込みモデルである。 セマンティック類似性、感情分類、文書クラスタリングタスクの広範な実験は、Omni TM-AEが主流の埋め込みモデルと競合し、しばしば越すことを示す。
• 参考スコア（独自算出の注目度）: 14.150011713654331
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing complexity of large-scale language models has amplified concerns regarding their interpretability and reusability. While traditional embedding models like Word2Vec and GloVe offer scalability, they lack transparency and often behave as black boxes. Conversely, interpretable models such as the Tsetlin Machine (TM) have shown promise in constructing explainable learning systems, though they previously faced limitations in scalability and reusability. In this paper, we introduce Omni Tsetlin Machine AutoEncoder (Omni TM-AE), a novel embedding model that fully exploits the information contained in the TM's state matrix, including literals previously excluded from clause formation. This method enables the construction of reusable, interpretable embeddings through a single training phase. Extensive experiments across semantic similarity, sentiment classification, and document clustering tasks show that Omni TM-AE performs competitively with and often surpasses mainstream embedding models. These results demonstrate that it is possible to balance performance, scalability, and interpretability in modern Natural Language Processing (NLP) systems without resorting to opaque architectures.
• Abstract（参考訳）: 大規模言語モデルの複雑さの増大は、その解釈可能性や再利用可能性に関する懸念を増幅している。 Word2VecやGloVeのような従来の埋め込みモデルはスケーラビリティを提供するが、透明性が欠如しており、ブラックボックスとして振る舞うことが多い。 逆に、Tsetlin Machine (TM) のような解釈可能なモデルは、以前はスケーラビリティと再利用性に限界があったが、説明可能な学習システムを構築する上で有望であることを示している。 本稿では,Omni Tsetlin Machine AutoEncoder (Omni TM-AE)を紹介する。 この方法は、単一のトレーニングフェーズを通じて再利用可能な、解釈可能な埋め込みの構築を可能にする。 セマンティック類似性、感情分類、文書クラスタリングタスクの広範な実験は、Omni TM-AEが主流の埋め込みモデルと競合し、しばしば越すことを示す。 これらの結果は、不透明なアーキテクチャに頼ることなく、現代の自然言語処理(NLP)システムにおける性能、スケーラビリティ、解釈可能性のバランスをとることができることを示す。

関連論文リスト

• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。 評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。 我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
  本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。 自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
  論文  参考訳（メタデータ） (2022-09-23T18:36:01Z)
• Convex Polytope Modelling for Unsupervised Derivation of Semantic Structure for Data-efficient Natural Language Understanding [31.888489552069146]
  Convex-Polytopic-Modelベースのフレームワークは、生のダイアログコーパスを利用して意味パターンを自動的に抽出する大きな可能性を示している。 このフレームワークは,コーパスのセマンティックフレーム関連機能を活用し,発話の基盤となるセマンティック構造を明らかにし,最小限の監視で最先端のNLUモデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-01-25T19:12:44Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。