論文の概要: Internalizing Tools as Morphisms in Graded Transformers

• arxiv url: http://arxiv.org/abs/2511.17840v1
• Date: Fri, 21 Nov 2025 23:27:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.465556
• Title: Internalizing Tools as Morphisms in Graded Transformers
• Title（参考訳）: 傾斜変圧器のモルフィズムとしての内装工具
• Authors: Tony Shaska,
• Abstract要約: 変圧器の内部記号計算の定式化を導入する。 隠れた空間にはグレーディング$V=bigoplus_gin GV_g$が与えられ、シンボル操作は型付きブロックマップとして実現される。 自己制御型エンハングリードユーティリティ関数は、活性化を制御し、スパースで解釈可能な振る舞いをもたらす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a graded formulation of internal symbolic computation for transformers. The hidden space is endowed with a grading $V=\bigoplus_{g\in G}V_g$, and symbolic operations are realized as typed block maps (morphisms) $φ_{h\leftarrow g}:V_g\to V_h$ that are activated selectively by a differentiable routing policy. A self-supervised \emph{graded utility functional}, defined as the loss reduction induced by a candidate morphism, governs activation and yields sparse, interpretable behavior. We develop the algebraic and geometric foundations: an internal model category whose objects are homogeneous components and whose morphisms are admissible grade transitions; adjoint pairs encoding typed round trips; and information-geometric interpretations in terms of KL gain, mirror descent with Bregman divergences, and Fisher natural gradients. Methodologically, we specify a utility--aware routing mechanism and objective that remain fully end-to-end differentiable. Analytic case studies and lightweight sanity checks illustrate selective morphic activation on hybrid symbolic-linguistic tasks. The framework unifies symbolic computation, geometry, and self--supervised learning within the \emph{graded transformer} formalism \cite{sh-89,sh-95}, while subsuming prior external-tool paradigms (e.g., Toolformer \cite{toolformer2023}) as a special case via functorial internalization.
• Abstract（参考訳）: 変圧器の内部記号計算の定式化を導入する。 隠れた空間には階調 $V=\bigoplus_{g\in G}V_g$ が与えられ、記号演算は型付きブロック写像 (morphisms) $φ_{h\leftarrow g}:V_g\to V_h$ として実現される。 自己教師付き \emph{graded utility functional} は、候補射によって誘導される損失の減少として定義され、活性化を支配し、スパースで解釈可能な振る舞いをもたらす。 対象が等質成分であり、射が許容できる次数遷移を持つ内部モデル圏、型付きラウンドトリップを符号化する随伴ペア、KLゲイン、ブレグマン発散によるミラー降下、フィッシャー自然勾配といった情報幾何学的解釈を開発する。 提案手法では,エンド・ツー・エンドの差別化が可能な汎用的なルーティング機構と目的を指定する。 分析ケーススタディと軽量な正当性チェックは、ハイブリッドシンボリック・言語的タスクにおいて選択的に正則なアクティベーションを示す。 このフレームワークは、記号計算、幾何学、および自己教師型学習を \emph{graded transformer}formism \cite{sh-89,sh-95} 内で統一し、外部ツールのパラダイム(例えば Toolformer \cite{toolformer2023} )を関手内化を通じて特別なケースとして仮定する。

関連論文リスト

• Symmetry-Breaking Descent for Invariant Cost Functionals [0.0]
  タスクコストの関数的$W : Hs(M) を mathbbR$ に還元する問題について検討する。 信号の対称性を破る変形はコストを低減できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T15:06:31Z)
• Discovering Physics Laws of Dynamical Systems via Invariant Function Learning [51.84691955495693]
  我々は、常微分方程式(ODE)によって支配される力学系の基底法則を学習することを考える。 我々はtextbfInvariant textbfFunctions (DIF) のtextbfDisentanglement と呼ばれる新しい手法を提案する。 私たちのコードはAIRSライブラリの一部としてリリースされています。
  論文  参考訳（メタデータ） (2025-02-06T20:46:50Z)
• Self-Attention as a Parametric Endofunctor: A Categorical Framework for Transformer Architectures [0.0]
  我々は,自己意識の線形成分に着目したカテゴリー理論フレームワークを開発した。 クエリ、キー、値マップは自然に2-圏 $mathbfPara(Vect)$ のパラメトリック 1-同型を定義することを示す。 複数の自己アテンション層を積み重ねると、このエンドファウンタ上の自由モナドが構築される。
  論文  参考訳（メタデータ） (2025-01-06T11:14:18Z)
• Quasi-symbolic Semantic Geometry over Transformer-based Variational AutoEncoder [10.880057430629126]
  文意味論は,文意味論的な役割 - 単語内容の特徴 - の合成として構成され,形式的意味幾何学が提案される。 このような幾何学上の文ベクトルの移動を導くための新しい探索アルゴリズムを提案する。 実験結果から,形式的意味幾何学は文生成により良い制御と解釈をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-12T14:20:33Z)
• Self-Supervised Learning Disentangled Group Representation as Feature [82.07737719232972]
  既存の自己監督学習(SSL)は、回転や着色などの単純な拡張機能のみを分解することを示す。 反復的分割に基づく不変リスク最小化(IP-IRM)を提案する。 我々は、IP-IRMが完全に不整合表現に収束し、様々なベンチマークでその効果を示すことを証明した。
  論文  参考訳（メタデータ） (2021-10-28T16:12:33Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• A Differentiable Relaxation of Graph Segmentation and Alignment for AMR Parsing [75.36126971685034]
  我々は、アライメントとセグメンテーションをモデルの潜在変数として扱い、エンドツーエンドのトレーニングの一部としてそれらを誘導する。 また,AMRの個々の構造を扱うために手作りされたLyu2018AMRPAのセグメンテーションルールに依存するモデルにもアプローチした。
  論文  参考訳（メタデータ） (2020-10-23T21:22:50Z)
• Algebraic Neural Networks: Stability to Deformations [179.55535781816343]
  可換代数を用いた代数ニューラルネットワーク(AlgNN)について検討する。 AlgNNはユークリッド畳み込みニューラルネットワーク、グラフニューラルネットワーク、グループニューラルネットワークなどの多様なアーキテクチャを統合する。
  論文  参考訳（メタデータ） (2020-09-03T03:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。