論文の概要: Opening the Black Box: Interpretable LLMs via Semantic Resonance Architecture

• arxiv url: http://arxiv.org/abs/2509.14255v1
• Date: Fri, 12 Sep 2025 09:02:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:52.881959
• Title: Opening the Black Box: Interpretable LLMs via Semantic Resonance Architecture
• Title（参考訳）: ブラックボックスのオープン:セマンティック共振アーキテクチャによる解釈可能なLCM
• Authors: Ivan Ternovtsii,
• Abstract要約: Mixture-of-Experts (MoE)モデルはスパースアクティベーションによって効率を改善するが、通常は不透明で学習されたゲーティング関数に依存している。 ルーティング決定が本質的に解釈可能であることを保証するために設計されたMoEアプローチであるSemantic Resonance Architecture (SRA)を紹介する。 SRAは学習ゲーティングをCirber of Semantic Resonance (CSR)モジュールに置き換える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) achieve remarkable performance but remain difficult to interpret. Mixture-of-Experts (MoE) models improve efficiency through sparse activation, yet typically rely on opaque, learned gating functions. While similarity-based routing (Cosine Routers) has been explored for training stabilization, its potential for inherent interpretability remains largely untapped. We introduce the Semantic Resonance Architecture (SRA), an MoE approach designed to ensure that routing decisions are inherently interpretable. SRA replaces learned gating with a Chamber of Semantic Resonance (CSR) module, which routes tokens based on cosine similarity with trainable semantic anchors. We also introduce a novel Dispersion Loss that encourages orthogonality among anchors to enforce diverse specialization. Experiments on WikiText-103 demonstrate that SRA achieves a validation perplexity of 13.41, outperforming both a dense baseline (14.13) and a Standard MoE baseline (13.53) under matched active parameter constraints (29.0M). Crucially, SRA exhibits superior expert utilization (1.0% dead experts vs. 14.8% in the Standard MoE) and develops distinct, semantically coherent specialization patterns, unlike the noisy specialization observed in standard MoEs. This work establishes semantic routing as a robust methodology for building more transparent and controllable language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は優れた性能を発揮するが、解釈は困難である。 Mixture-of-Experts (MoE)モデルはスパースアクティベーションによって効率を改善するが、通常は不透明で学習されたゲーティング関数に依存している。 類似性に基づくルーティング(Cosine Routers)は、トレーニング安定化のために検討されているが、本質的に解釈可能である可能性は、ほとんど未解決のままである。 ルーティング決定が本質的に解釈可能であることを保証するために設計されたMoEアプローチであるSemantic Resonance Architecture (SRA)を紹介する。 SRAは学習ゲーティングをCirber of Semantic Resonance (CSR)モジュールに置き換える。 また,多様な専門化を実施するために,アンカー間の直交性を促進する新しい分散損失を導入する。 WikiText-103の実験では、SRAは13.41の検証難易度を達成し、高密度のベースライン(14.13)と標準のMoEベースライン(13.53)を一致したアクティブパラメータ制約(29.0M)で上回っている。 重要なことに、SRAは、標準的なMoEで見られるノイズのある特殊化とは異なり、優れた専門家利用(標準MoEでは1.0%のデッドエキスパート対14.8%)を示し、明確な意味的に一貫性のある特殊化パターンを発達させる。 この研究は、より透明で制御可能な言語モデルを構築するための堅牢な方法論としてセマンティックルーティングを確立する。

関連論文リスト

• Joint Learning using Mixture-of-Expert-Based Representation for Enhanced Speech Generation and Robust Emotion Recognition [54.44798086835314]
  音声感情認識(SER)は感情認識音声システム構築において重要な役割を担っているが,その性能は雑音下で著しく低下する。 本稿では, フレームワイド・エキスパート・ルーティングを自己教師付き音声表現に応用した, フレキシブルMTLフレームワークSparse Mixture-of-Experts Representation Integration Technique (Sparse MERIT)を提案する。 MSP-Podcastコーパスの実験では、Sparse MERITはSERとSEの両方のタスクのベースラインモデルより一貫して優れていた。
  論文  参考訳（メタデータ） (2025-09-10T10:18:56Z)
• MoSEs: Uncertainty-Aware AI-Generated Text Detection via Mixture of Stylistics Experts with Conditional Thresholds [50.94175872742232]
  本稿では,スタイリスティックスを意識した定量化の不確実性を実現するためのMixture of Stylistic Experts (MoSEs) フレームワークを提案する。 MoSEには、Stylistics Reference Repository (SRR)、Stylistics-Aware Router (SAR)、Conditional Threshold Estimator (CTE)の3つのコアコンポーネントが含まれている。 判別スコアにより、MoSEは対応する信頼度レベルで予測ラベルを出力する。
  論文  参考訳（メタデータ） (2025-09-02T16:51:43Z)
• Mixture of Experts Made Intrinsically Interpretable [34.36996159677674]
  我々は,emphintrinsically interpretableとして設計されたMixture-of-Experts (MoE)言語モデルである textbfMoE-X を提案する。 我々のアプローチは、言語モデルにおいて、スパースアクティベーションを持つより広いネットワークが解釈可能な要因を捉える傾向にあるという観察に動機づけられている。 MoE-X は GPT-2 よりもパープレキシティが良く、解釈性はスパースオートエンコーダ (SAE) ベースのアプローチを超えている。
  論文  参考訳（メタデータ） (2025-03-05T17:40:54Z)
• Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
  Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。 本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。 我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
  論文  参考訳（メタデータ） (2024-05-23T12:45:29Z)
• Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment [103.05005690990271]
  MoTE(Mixture of insightful Experts)は、推論チェーンとエキスパートミックスを組み合わせて自己調整を改善する新しいフレームワークである。 MoTEはモデルの安全性、脱獄耐性、過剰な拒否機能を大幅に改善し、OpenAIの最先端のo1モデルに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-01T15:06:05Z)
• Soft Merging of Experts with Adaptive Routing [38.962451264172856]
  適応ルーティングによるエキスパートのソフトマージ(SMEAR)について紹介する SMEARは、専門家のパラメータの重み付け平均を通して構築された単一の「マージされた」専門家を使用することで、離散的なルーティングを避ける。 我々は,メタデータに基づいた経路モデルや,勾配推定によるスパースルーティングを学習するSMEARモデルを用いたモデルの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2023-06-06T15:04:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。