論文の概要: Explicit Fuzzy Logic in the Feed-Forward Layer: Self-Forgetting Quantifiers Discover Legible Grammatical-Licensing Detectors

• arxiv url: http://arxiv.org/abs/2606.31845v1
• Date: Tue, 30 Jun 2026 15:46:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.29105
• Title: Explicit Fuzzy Logic in the Feed-Forward Layer: Self-Forgetting Quantifiers Discover Legible Grammatical-Licensing Detectors
• Title（参考訳）: フィードフォワード層におけるファジィ論理:正当性文法ライセンシング検出器の自己予測量化器
• Abstract要約: NC-FFNはGELUベースラインのパープレキシティを結び、各ユニットは明示的な論理形式を持つ。 どちらも、シーケンス量子化器の小さなブロックで解決する。 その結果、パラメータニュートラルな言語モデル品質トランスが実現した。
• 参考スコア（独自算出の注目度）: 0.2663471820643486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A transformer's feed-forward (FFN) sublayer materializes the distinctions attention gathers, yet gives no account of what it computes. In a parameter-neutral replacement, each hidden unit is an explicit fuzzy set operation on sigmoid-bounded [0,1] memberships: intersection A*B and set-difference A*(1-B), the latter a bounded positive negation ("A but not B") that gated/bilinear units lack -- a negation-capable FFN (NC-FFN). On N-bit parity they are the most parameter-efficient reasoning basis at shallow depth; at scale (125M, OpenWebText) NC-FFN ties the GELU baseline's perplexity, every unit carrying explicit logical form. Two limits share one cause: two-operand logic localizes to layer 0 and erodes under training, and the one robust grammatical deficit concentrates in licensing and quantifiers, beyond within-token operators. We resolve both with a small block of sequence quantifiers: a soft existential and a soft proportion, each with a per-unit learned forgetting rate from a sticky init. This recovers the deficit at epoch one (halving the wider epoch-two gap), modestly leads on LAMBADA, and makes the FFN legible: the structure now holds and migrates into depth; the decay un-learns its stickiness (median half-life ~1.5 tokens; zero latch units); and at the semantic layers the units read, without dictionary learning, as grammatical licensing detectors: each fires on a licensor (a comparative, a passive participle, a negative-polarity item) and carries its memory forward to predict the licensed word (than, by, nor). This legibility is localized and free only up to a partition (a fully Boolean FFN diverges in training), but the result is a parameter-neutral, language-model-quality transformer with a readable, interpretable-by-construction grammatical mechanism -- an account not just of what a feed-forward layer represents but how it licenses.
• Abstract（参考訳）: トランスのフィードフォワード(FFN)サブレイヤは、注意が集まる区別を具体化するが、何を計算するかは説明しない。 パラメータニュートラル置換において、各隠蔽単位はシグモノイド有界 [0,1] 上の明示的なファジィ集合演算である:交叉 A*B と集合差分 A*(1-B)、後者はゲート/双線型単位が欠落する有界正の否定(A but not B)、すなわち否定可能なFFN(NC-FFN)である。 Nビットパリティでは、これらが最もパラメータ効率のよい推論ベースであり、スケール(125M、OpenWebText)においてNC-FFNはGELUベースラインのパープレキシティを結び、各ユニットは明示的な論理形式を持つ。 2オペランド論理は、訓練中の0層とエローダ層にローカライズされ、1つの頑健な文法的欠陥は、内部演算子を超えて、ライセンスと量化子に集中する。 我々は,数列量子化器の小さなブロック – ソフト存在率とソフト比率 – をそれぞれ,粘着性イニットから学習した単位毎の記憶率で解決する。 これはエポック1における欠陥(より広いエポック2のギャップを半減する)を回復させ、LAMBADAを緩やかに導き、FFNを正当化させる; 構造は現在保持され、深さに移行する; 崩壊は、その粘着性(中間半減期 ~1.5トークン、ゼロラッチ単位)を未学習にする; セマンティック層では、辞書の学習なしに、単位を文法的なライセンス検出器として読み取る: それぞれの火器(受動部品、負極性アイテム)を点火し、そのメモリを前方に保持して、ライセンスされた単語(すなわち、その時までに)を予測する。 このパーソナリティは、パーティション(完全にブールFFNがトレーニング中に分岐する)にのみローカライズされ、自由であるが、結果としてパラメータニュートラルで、言語モデル品質のトランスフォーマーで、読みやすく、解釈可能な、構成可能な文法機構を持つ。

関連論文リスト

• What Does a Discrete Diffusion Model Learn? [71.03603607324338]
  離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。 まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。 すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
  論文  参考訳（メタデータ） (2026-07-06T17:56:11Z)
• Legible-by-Construction: Attention and End-to-End Transformers [0.2663471820643486]
  トランスのフィードフォワード層は明示的なファジィ集合演算から再構築することができる。 隠れたユニットは言語モデルの品質を犠牲にすることなく、名前付き論理演算子として読み上げられた。 125Mパラメータの5つの特別なアテンション設計において、44から62%の値チャネルが正当性を持つ。
  論文  参考訳（メタデータ） (2026-07-05T14:08:59Z)
• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• TIDE: Every Layer Knows the Token Beneath the Context [21.609102126208608]
  本稿では,標準トランスフォーマーを EmbeddingMemory で拡張する TIDE を提案する。 我々は、TIDEの利点を理論的かつ実証的に確立し、シングルトークンID注入に関連する問題に対処する。
  論文  参考訳（メタデータ） (2026-05-07T13:16:18Z)
• Learning with Boolean threshold functions [0.013714053458441644]
  本研究では,各ノードの値が厳格に$pm 1$であるスパースデータ上でニューラルネットワークを訓練する手法を開発した。 様々なタスクにまたがって、この手法はニューラルネットワークの学習に有効で効率的な基礎を提供する。
  論文  参考訳（メタデータ） (2026-02-19T16:07:25Z)
• Grammar-Forced Translation of Natural Language to Temporal Logic using LLMs [11.37102335479887]
  グラマー強制翻訳(GraFT)と呼ばれるNLからTLへの翻訳のためのフレームワークを提案する。 GraFTは、有効な出力トークンの集合を全語彙から各ステップでほんの一握りに制限することで、両方のタスクの複雑さを減らす。 CW,GLTL,Naviベンチマークを用いてGraFTの有効性を評価する。
  論文  参考訳（メタデータ） (2025-12-18T17:55:15Z)
• Universal Adversarial Suffixes Using Calibrated Gumbel-Softmax Relaxation [9.099589602551573]
  我々は,任意の入力に付加されたユニバーサル逆接接尾辞について検討し,タスクやモデル間での精度を広く低減する。 提案手法は,Gumbel-Softmax 緩和を用いた微分可能な「ソフト」形式で接尾辞を学習し,推論のために識別する。 あるモデルで訓練された1つの接尾辞は、他のモデルに効果的に転送され、常に精度と精度の調整の両方を低下させる。
  論文  参考訳（メタデータ） (2025-12-09T00:03:39Z)
• Semantic Fusion with Fuzzy-Membership Features for Controllable Language Modelling [0.0]
  意味融合は、トランスフォーマー言語モデル(LM)をファジィメンバーシップ機能チャネルで拡張する軽量なスキームである。 それぞれのトークンは解釈可能な特徴のベクトルで表され、値が微分可能なメンバシップ関数から次数になる。 このアプローチは、小さなオーバーヘッドのみを追加し、接続された入出力埋め込みと完全に互換性を持ち、条件付き自然言語生成のための解釈可能な経路を提供する。
  論文  参考訳（メタデータ） (2025-09-14T22:11:09Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• Extracting Grammars from a Neural Network Parser for Anomaly Detection in Unknown Formats [79.6676793507792]
  強化学習は、ある未知のフォーマットで文を解析するために、人工知能を訓練する技術として、最近約束されている。 本稿では、ニューラルネットワークから生成規則を抽出し、これらの規則を用いて、ある文が名目か異常かを決定する手順を提案する。
  論文  参考訳（メタデータ） (2021-07-30T23:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。