論文の概要: Localist LLMs -- A Mathematical Framework for Dynamic Locality Control

• arxiv url: http://arxiv.org/abs/2510.09338v1
• Date: Fri, 10 Oct 2025 12:44:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:48.993787
• Title: Localist LLMs -- A Mathematical Framework for Dynamic Locality Control
• Title（参考訳）: Localist LLMs - 動的局所性制御のための数学的フレームワーク
• Authors: Joachim Diederich,
• Abstract要約: 鍵となる革新はローカリティダイヤル(Locality dial)であり、モデル再トレーニングを必要とせず、トレーニングと推論の両方で局所化の度合いを動的に制御する調整可能なパラメータである。 群間隔のペナルティが一定のしきい値を超えると、モデルの注意機構は意味論的に関連するブロックに集中し、無視可能な誤りでエントロピーが低く、忠実度が高いことを証明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel framework for training large language models with continuously adjustable internal representations that span the full spectrum from localist (interpretable, rule-based) to distributed (generalizable, efficient) encodings. The key innovation is a locality dial, a tunable parameter that dynamically controls the degree of localization during both training and inference without requiring model retraining. This is achieved through group sparsity penalties on attention mechanisms, information-theoretic anchor design, and dynamic rule injection. We provide rigorous mathematical proofs establishing explicit threshold conditions under which attention provably concentrates on semantically relevant blocks, with exponential bounds on attention entropy and pointer fidelity. Specifically, we prove that when group sparsity penalties exceed certain threshold values, the model's attention mechanisms concentrate on semantically relevant blocks, achieving low entropy and high fidelity with negligible error. This framework enables practitioners to continuously interpolate between interpretable and high-performance modes, supporting applications in regulated domains requiring both transparency and capability.
• Abstract（参考訳）: 本稿では,ローカリスト(解釈可能,ルールベース)から分散(一般化可能,効率的な)エンコーディングまで,多岐にわたる内部表現を連続的に調整可能な大規模言語モデルのトレーニングフレームワークを提案する。 重要な革新はローカリティダイヤル(Locality dial)であり、モデルの再トレーニングを必要とせず、トレーニングと推論の両方の間、動的にローカリティの度合いを制御できる調整可能なパラメータである。 これは、注意機構、情報理論的アンカー設計、動的ルールインジェクションに関するグループ間距離の罰則によって達成される。 我々は、注意が意味論的に関連のあるブロックに集中し、注意エントロピーとポインターの忠実度に指数的境界を持つ、明示的なしきい値条件を確立する厳密な数学的証明を提供する。 具体的には,群間隔のペナルティが一定のしきい値を超えると,モデルの注意機構は意味的関連ブロックに集中し,低エントロピー,高忠実度を無視可能な誤差で達成する。 このフレームワークは、解釈可能なモードとハイパフォーマンスモードを継続的に補間し、透明性と能力の両方を必要とする規制されたドメインでのアプリケーションをサポートする。

関連論文リスト

• Rule Encoding and Compliance in Large Language Models: An Information-Theoretic Analysis [0.0]
  大規模言語モデル(LLM)に基づく安全クリティカルエージェントの設計には、単純なプロンプトエンジニアリング以上のものが必要である。 本稿では,ルールエンコーディングが注意機構やコンプライアンス行動にどのように影響するかを包括的に情報理論で分析する。
  論文  参考訳（メタデータ） (2025-09-23T14:42:32Z)
• Towards Efficient General Feature Prediction in Masked Skeleton Modeling [59.46799426434277]
  マスクスケルトンモデリングのための新しい汎用特徴予測フレームワーク(GFP)を提案する。 我々の重要な革新は、局所的な動きパターンからグローバルな意味表現にまたがる、従来の低レベルな再構築を高レベルな特徴予測に置き換えることです。
  論文  参考訳（メタデータ） (2025-09-03T18:05:02Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• Mitigating Attention Hacking in Preference-Based Reward Modeling via Interaction Distillation [62.14692332209628]
  インタラクション蒸留(Interaction Distillation)は、注意レベル最適化によるより適切な嗜好モデリングのための新しいトレーニングフレームワークである。 最先端のRM最適化法と比較して、より安定で一般化可能な報酬信号を提供する。
  論文  参考訳（メタデータ） (2025-08-04T17:06:23Z)
• Neuro-symbolic Weak Supervision: Theory and Semantics [5.455744338342196]
  帰納的論理プログラミング(ILP)を統合したニューロシンボリック・フレームワークのセマンティクスを提案する。 ILPは、ラベル遷移のための論理仮説空間を定義し、意味論を明確にし、解釈可能なパフォーマンス標準を確立する。 このハイブリッドアプローチは、弱教師付き設定における堅牢性、透明性、説明責任を改善する。
  論文  参考訳（メタデータ） (2025-03-24T10:02:51Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Learning Prompt-Enhanced Context Features for Weakly-Supervised Video Anomaly Detection [37.99031842449251]
  弱い監督下での映像異常検出は重大な課題を呈する。 本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。 提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-06-26T06:45:16Z)
• Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
  弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。 本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。 AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
  論文  参考訳（メタデータ） (2023-05-04T19:11:33Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。