論文の概要: Semantic Fusion with Fuzzy-Membership Features for Controllable Language Modelling

• arxiv url: http://arxiv.org/abs/2509.13357v1
• Date: Sun, 14 Sep 2025 22:11:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.5539
• Title: Semantic Fusion with Fuzzy-Membership Features for Controllable Language Modelling
• Title（参考訳）: 制御可能な言語モデリングのためのファジィ・メンバーシップ機能付き意味融合
• Authors: Yongchao Huang, Hassan Raza,
• Abstract要約: 意味融合は、トランスフォーマー言語モデル(LM)をファジィメンバーシップ機能チャネルで拡張する軽量なスキームである。 それぞれのトークンは解釈可能な特徴のベクトルで表され、値が微分可能なメンバシップ関数から次数になる。 このアプローチは、小さなオーバーヘッドのみを追加し、接続された入出力埋め込みと完全に互換性を持ち、条件付き自然言語生成のための解釈可能な経路を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose semantic fusion, a lightweight scheme that augments a Transformer language model (LM) with a parallel, fuzzy-membership feature channel that encodes token-level semantics. Each token is represented by a vector of interpretable features (e.g. part-of-speech cues, shallow roles, boundary flags, sentiment polarity and strength) whose values are graded degrees from differentiable membership functions (e.g. power kernels). These per-token vectors form a sentence-level semantic matrix fused via a gated adapter into the LM. Training uses standard next-token prediction, an auxiliary loss that reconstructs the semantic features from hidden states, and a lightweight uniformizer that regularizes adjective-class distributions. On a synthetic two-clause corpus with held-out adjectives for out-of-distribution (OOD) control, semantic fusion improves perplexity and enables precise, user-controllable generation of polarity and punctuation while maintaining model simplicity. This approach adds only small overhead, remains fully compatible with tied input-output embeddings, and provides an interpretable pathway for conditioned natural language generation.
• Abstract（参考訳）: トークンレベルのセマンティクスを符号化する並列なファジィメンバシップ機能チャネルでトランスフォーマー言語モデル(LM)を拡張する軽量なスキームであるセマンティクス融合を提案する。 各トークンは、解釈可能な特徴(例えば、音声のキュー、浅い役割、境界旗、感情極性、強さ)のベクトルで表され、値が異なるメンバシップ関数(例えば、パワーカーネル)の次数である。 これらのトーケンベクトルは、ゲートアダプタを介してLMに融合した文レベルの意味行列を形成する。 トレーニングでは、標準的な次世代の予測、隠された状態から意味的特徴を再構築する補助的な損失、および形容詞クラス分布を正規化する軽量な統一化器を使用する。 アウト・オブ・ディストリビューション(OOD)制御のための保留形容詞を持つ合成2句コーパスにおいて、セマンティックフュージョンはパープレキシティを改善し、モデルの単純さを維持しつつ、正確な、ユーザ制御可能な極性と句読点の生成を可能にする。 このアプローチは、小さなオーバーヘッドのみを追加し、接続された入出力埋め込みと完全に互換性を持ち、条件付き自然言語生成のための解釈可能な経路を提供する。

関連論文リスト

• S2Sent: Nested Selectivity Aware Sentence Representation Learning [5.284254208630281]
  文表現選択機構Ssuperscript2Sentを提案する。 セレクタは、モジュールの観点から空間選択(SS)およびネスト周波数選択(FS)を行う。 大規模な実験では、Stextsuperscript2Sentはベースラインメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-08-25T16:13:42Z)
• Evaluating Sparse Autoencoders: From Shallow Design to Matching Pursuit [16.996218963146788]
  スパースオートエンコーダ(SAE)は近年,解釈可能性の中心的なツールとなっている。 本稿では,MNISTを用いた制御環境でのSAEの評価を行う。 我々は、MP-SAE(Matching Pursuit)をアンロールすることで、マルチイテレーションSAEを導入する。
  論文  参考訳（メタデータ） (2025-06-05T16:57:58Z)
• Enhancing Latent Computation in Transformers with Latent Tokens [48.371764897314]
  補助トークンを用いた大規模言語モデルの拡張が,モデル性能向上のための有望な戦略として浮上している。 我々は遅延トークンと呼ばれる軽量な手法を導入し、これらは自然言語では解釈不能なダミートークンである。 提案した潜在トークンは、トレーニング済みのTransformerとシームレスに統合され、パラメータ効率のよい方法で訓練され、推論時に柔軟に適用できる。
  論文  参考訳（メタデータ） (2025-05-19T02:35:53Z)
• Interchangeable Token Embeddings for Extendable Vocabulary and Alpha-Equivalence [6.991281327290525]
  言語モデルは交換可能なトークンの概念を欠いている。 我々は、この機械学習問題を形式化し、α-共分散を導入する。 本研究は,交換可能なトークン表現を学習可能な言語モデルの設計基盤を確立した。
  論文  参考訳（メタデータ） (2024-10-22T16:34:36Z)
• Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
  モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。 成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。 勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
  論文  参考訳（メタデータ） (2024-10-07T12:01:32Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。 トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
  論文  参考訳（メタデータ） (2023-12-02T04:29:19Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。