論文の概要: CLMN: Concept based Language Models via Neural Symbolic Reasoning

• arxiv url: http://arxiv.org/abs/2510.10063v1
• Date: Sat, 11 Oct 2025 06:58:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.760331
• Title: CLMN: Concept based Language Models via Neural Symbolic Reasoning
• Title（参考訳）: CLMN:ニューラルシンボリック推論による概念ベース言語モデル
• Authors: Yibo Yang,
• Abstract要約: 概念言語モデルネットワーク(CLMN)は、パフォーマンスと解釈可能性の両方を維持するニューラルシンボリックフレームワークである。 CLMNは、連続的、人間可読な埋め込みとして概念を表現している。 Modelは、概念を意識した表現でオリジナルのテキスト機能を拡張し、解釈可能なロジックルールを自動的に誘導する。
• 参考スコア（独自算出の注目度）: 27.255064617527328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has advanced NLP, but interpretability remains limited, especially in healthcare and finance. Concept bottleneck models tie predictions to human concepts in vision, but NLP versions either use binary activations that harm text representations or latent concepts that weaken semantics, and they rarely model dynamic concept interactions such as negation and context. We introduce the Concept Language Model Network (CLMN), a neural-symbolic framework that keeps both performance and interpretability. CLMN represents concepts as continuous, human-readable embeddings and applies fuzzy-logic reasoning to learn adaptive interaction rules that state how concepts affect each other and the final decision. The model augments original text features with concept-aware representations and automatically induces interpretable logic rules. Across multiple datasets and pre-trained language models, CLMN achieves higher accuracy than existing concept-based methods while improving explanation quality. These results show that integrating neural representations with symbolic reasoning in a unified concept space can yield practical, transparent NLP systems.
• Abstract（参考訳）: 深層学習はNLPを進歩させたが、解釈可能性はまだ限られている。 概念ボトルネックモデルは、視覚における人間の概念と予測を結びつけるが、NLPバージョンは、テキスト表現を傷つけるバイナリアクティベーションまたは意味論を弱める潜在概念を使用するか、否定や文脈のような動的な概念相互作用をモデル化することは滅多にない。 本稿では,性能と解釈可能性の両方を維持するニューラルシンボリックフレームワークである概念言語モデルネットワーク(CLMN)を紹介する。 CLMNは、概念を連続的で可読な埋め込みとして表現し、ファジィ論理的推論を適用して、概念が相互にどのように影響するか、最終的な決定を述べる適応的な相互作用規則を学習する。 このモデルは、概念を意識した表現でオリジナルのテキスト機能を強化し、解釈可能な論理ルールを自動的に誘導する。 複数のデータセットと事前訓練された言語モデルを通して、CLMNは、説明品質を改善しつつ、既存の概念ベースの手法よりも高い精度を達成する。 これらの結果から, 統一概念空間におけるニューラル表現とシンボリック推論の統合は, 実用的で透明なNLPシステムを実現する可能性が示唆された。

関連論文リスト

• Analyzing Latent Concepts in Code Language Models [10.214183897113118]
  グローバルなポストホック解釈可能性フレームワークであるコード概念分析(CoCoA)を提案する。 CoCoAは、コード言語モデルの表現空間における創発的語彙、構文、意味構造を明らかにする。 本稿では,静的解析ツールをベースとした構文アライメントと,プロンプトエンジニアリングによる大規模言語モデルを組み合わせたハイブリッドアノテーションパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-01T03:53:21Z)
• Towards Better Generalization and Interpretability in Unsupervised Concept-Based Models [9.340843984411137]
  本稿では、LCBM(Learningable Concept-Based Model)という、画像分類のための教師なし概念ベースモデルを提案する。 我々はLCBMが既存の教師なし概念ベースモデルを上回る一般化能力を示し、ブラックボックスモデルの性能とほぼ一致することを示した。 概念埋め込みの利用にもかかわらず、我々は概念の局所的な線形結合によるモデル解釈可能性を維持している。
  論文  参考訳（メタデータ） (2025-06-02T16:26:41Z)
• Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space [62.54887038032942]
  ソフトシンキング(Soft Thinking)は、ソフトで抽象的な概念トークンを生成することによって、人間のような「ソフト」推論をエミュレートする訓練不要な手法である。 これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付き混合によって生成される。 本質的に、生成された概念トークンは関連する離散トークンから複数の意味をカプセル化し、暗黙的に様々な推論経路を探索する。
  論文  参考訳（メタデータ） (2025-05-21T17:29:15Z)
• Human-like conceptual representations emerge from language prediction [72.5875173689788]
  大規模言語モデル(LLMs)は、言語データに対する次世代の予測を通じてのみ訓練され、顕著な人間的な振る舞いを示す。 これらのモデルは、人間に似た概念を発達させ、もしそうなら、そのような概念はどのように表現され、組織化されるのか? 以上の結果から,LLMは言語記述から他の概念に関する文脈的手がかりに関して柔軟に概念を導出できることが示唆された。 これらの結果は、構造化された人間のような概念表現が、現実世界の接地なしに言語予測から自然に現れることを証明している。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
  概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。 本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
  論文  参考訳（メタデータ） (2023-04-27T09:58:15Z)
• GlanceNets: Interpretabile, Leak-proof Concept-based Models [23.7625973884849]
  概念ベースモデル(CBM)は、高レベルの概念の語彙の獲得と推論によって、ハイパフォーマンスと解釈可能性を組み合わせる。 我々は、モデル表現と基礎となるデータ生成プロセスとの整合性の観点から、解釈可能性を明確に定義する。 GlanceNetsは不整合表現学習とオープンセット認識の技法を利用してアライメントを実現する新しいCBMである。
  論文  参考訳（メタデータ） (2022-05-31T08:53:53Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。