論文の概要: Sparse Autoencoders Are a Shared Coordinate System for Symbolic Matching

• arxiv url: http://arxiv.org/abs/2610.19636v1
• Date: Wed, 14 Oct 2026 06:05:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.988292
• Title: Sparse Autoencoders Are a Shared Coordinate System for Symbolic Matching
• Title（参考訳）: スパースオートエンコーダはシンボリックマッチングのための共有座標系である
• Abstract要約: SAE-IDFは、そのネイティブコンテキストでシンボルをスパースコードにエンコードし、スパースオートエンコーダ(SAE)で各次元を再重み付けし、システム間で一致させる。 SAE-IDF もまた解釈可能で、スパースコードのすべての次元は人間の読みやすい意味を持ち、それぞれのマッチは名前のついた概念に分解される。
• 参考スコア（独自算出の注目度）: 30.90974095284329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) hold broad knowledge in one set of weights, but lack interpretability and trustworthy reasoning, especially in high-stakes use cases. A neuro-symbolic model, with its interpretable architecture and System 2 reasoning capacity, is a promising alternative if built at the scale of LLMs; however, its symbolic backbone is usually constructed with human effort, so existing neuro-symbolic models are bottlenecked by the scope of the symbol component and usually domain-specific. A data-driven method could instead build a larger symbolic system by aligning and merging existing ones. We target its first, foundational step: matching units across these heterogeneous systems. Our method, SAE-IDF, encodes a symbol in its native context into a sparse code with a sparse autoencoder (SAE), re-weights each dimension by its rarity and matches across systems. On 12 tasks across 6 kinds of symbolic system, SAE-IDF outperforms the same LLM's dense baseline on all tasks with Gemma-2-9B and all but one with Llama-3.1-8B, by up to 45 points, consistently across SAE layers and configurations. SAE-IDF is also interpretable: every dimension of the sparse code has a human-readable meaning, so each match decomposes into named concepts (features). Our work paves the way to a universal symbolic backbone.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、一組の重みで幅広い知識を持っているが、解釈可能性や信頼できる推論が欠如している。 解釈可能なアーキテクチャとシステム2推論能力を備えたニューロシンボリックモデルは、LLMの規模で構築された場合、有望な代替手段となるが、そのシンボルバックボーンは通常、人間の努力によって構築されるため、既存のニューロシンボリックモデルはシンボルコンポーネントの範囲によってボトルネック化され、通常ドメイン固有である。 データ駆動の方法では、既存のものを整列してマージすることで、より大きなシンボリックシステムを構築することができる。 我々は、その最初の基本ステップである、これらの異種システム間の整合ユニットをターゲットにしている。 我々の手法であるSAE-IDFは、スパースオートエンコーダ(SAE)によるスパースコードにシンボルをエンコードし、その希薄さによって各次元を再重み付けし、システム間で一致させる。 6種類のシンボリックシステムにまたがる12のタスクにおいて、SAE-IDFはGemma-2-9BとLlama-3.1-8Bを除く全てのタスクにおいて同じLLMの密度の高いベースラインを45ポイント上回る。 SAE-IDF もまた解釈可能で、スパースコードのすべての次元は人間の読みやすい意味を持ち、それぞれのマッチは名前のついた概念(機能)に分解される。 私たちの仕事は普遍的な象徴的なバックボーンへの道を開く。

関連論文リスト

• Rethinking Handwritten Character Recognition [0.0]
  GraphemeNetは2つのバイナリxで管理される統一されたマルチスクリプトアーキテクチャである。 スクリプト固有の非対称な畳み込みは、各段階における重み付け残差としてストローク足場を注入する。 ストローク・トポロジー・モジュール(STM)は、ゲート融合を伴うグローバル平均プールとクロススケールアテンションの間で選択される。 $O(n)$ルーティングを持つ線形カプセルルーティング(LCR)は、普遍的に共有される。
  論文  参考訳（メタデータ） (2026-09-02T16:19:14Z)
• Omni-I2C: A Holistic Benchmark for High-Fidelity Image-to-Code Generation [59.87131391492088]
  我々は,複雑な構造化デジタルグラフィックスを実行可能なコードに変換する上で,LMM(Large Multimodal Models)の能力を評価するために設計されたベンチマークであるOmni-I2Cを提案する。 真のユーザソースのケースを組み込むことで、このベンチマークは広範囲のデジタルコンテンツにまたがる。 評価の結果,主要なLMM間の性能差が顕著であることがわかった。
  論文  参考訳（メタデータ） (2026-03-18T09:10:04Z)
• Compositional Generalization Across Distributional Shifts with Sparse Tree Operations [77.5742801509364]
  我々は、微分可能木機械と呼ばれる統合されたニューロシンボリックアーキテクチャを導入する。 シンボル構造の疎ベクトル表現を用いることで,モデルの効率を大幅に向上する。 より一般的なseq2seq問題に制限されたtree2tree問題以外の適用を可能にする。
  論文  参考訳（メタデータ） (2024-12-18T17:20:19Z)
• Symbol-LLM: Leverage Language Models for Symbolic System in Visual Human Activity Reasoning [58.5857133154749]
  本稿では,広い範囲のシンボルと合理的なルールを持つ新しい記号体系を提案する。 我々は,LLMの最近の進歩を2つの理想的な性質の近似として活用する。 本手法は,広範囲な活動理解タスクにおいて優位性を示す。
  論文  参考訳（メタデータ） (2023-11-29T05:27:14Z)
• Symbol-LLM: Towards Foundational Symbol-centric Interface For Large Language Models [41.91490484827197]
  シンボルデータの集合を大規模言語モデルのトレーニングに直接注入することは問題となる。 本研究では、データとフレームワークの観点からこれらの課題に取り組み、Symbol-LLMシリーズモデルを導入する。 シンボル中心タスクとNL中心タスクの広範な実験は、Symbol-LLMシリーズモデルのバランスと優れた性能を示している。
  論文  参考訳（メタデータ） (2023-11-15T18:59:56Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Symbolic Synthesis of Neural Networks [0.0]
  グラフベース合成ニューラルネットワーク(GSSNN)について GSSNNは、トポロジとパラメータがシンボルプログラムの出力によって通知されるニューラルネットワークの一種である。 人口レベルでシンボリック抽象化を開発することで、局所的特徴や離散的特徴を含む少数のデータを用いて、改良された一般化の信頼性の高いパターンを導出できることを実証する。
  論文  参考訳（メタデータ） (2023-03-06T18:13:14Z)
• OSSR-PID: One-Shot Symbol Recognition in P&ID Sheets using Path Sampling and GCN [22.64801480942863]
  P&ID(Piping and Instrumentation Diagrams)は、いくつかの製造業、石油、ガス企業において広く使われている。 本手法は,画像の輪郭境界に沿って連続的に画素をサンプリングすることによって機能する。 動的グラフ畳み込みニューラルネットワーク(DGCNN)は、与えられたシンボルクラスの1つにグラフを分類するために訓練される。
  論文  参考訳（メタデータ） (2021-09-08T18:05:27Z)
• Adaptive Linear Span Network for Object Skeleton Detection [56.78705071830965]
  本研究では,適応線形スパンネットワーク(AdaLSN)を提案する。 AdaLSNは、精度とレイテンシのトレードオフを著しく高めることで、その汎用性を裏付ける。 また、エッジ検出や道路抽出といったイメージ・ツー・マスクのタスクに適用可能であることも示している。
  論文  参考訳（メタデータ） (2020-11-08T12:51:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。