論文の概要: Mechanistic Interpretability for Neural TSP Solvers

• arxiv url: http://arxiv.org/abs/2510.21693v1
• Date: Fri, 24 Oct 2025 17:54:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 06:57:23.448583
• Title: Mechanistic Interpretability for Neural TSP Solvers
• Title（参考訳）: ニューラルTSP解の機械論的解釈可能性
• Authors: Reuben Narad, Leonard Boussioux, Michael Wagner,
• Abstract要約: 我々は、100ノードインスタンス上で強化学習を施したポインタネットワークをトレーニングし、エンコーダの残余ストリームにSAEを適合させて、解釈可能な特徴の過剰完全辞書を発見する。 解析の結果,解法は基本的TSP概念を反映する特徴を自然に生み出すことが明らかとなった。 これらの発見は、ニューラルネットワークがノード選択の前に何を計算するかをモデル内部で初めて説明し、幾何学構造が明示的な監督なしに出現することを示し、透明なハイブリッドシステムへの経路を提案する。
• 参考スコア（独自算出の注目度）: 0.8092772265574576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks have advanced combinatorial optimization, with Transformer-based solvers achieving near-optimal solutions on the Traveling Salesman Problem (TSP) in milliseconds. However, these models operate as black boxes, providing no insight into the geometric patterns they learn or the heuristics they employ during tour construction. We address this opacity by applying sparse autoencoders (SAEs), a mechanistic interpretability technique, to a Transformer-based TSP solver, representing the first application of activation-based interpretability methods to operations research models. We train a pointer network with reinforcement learning on 100-node instances, then fit an SAE to the encoder's residual stream to discover an overcomplete dictionary of interpretable features. Our analysis reveals that the solver naturally develops features mirroring fundamental TSP concepts: boundary detectors that activate on convex-hull nodes, cluster-sensitive features responding to locally dense regions, and separator features encoding geometric partitions. These findings provide the first model-internal account of what neural TSP solvers compute before node selection, demonstrate that geometric structure emerges without explicit supervision, and suggest pathways toward transparent hybrid systems that combine neural efficiency with algorithmic interpretability. Interactive feature explorer: https://reubennarad.github.io/TSP_interp
• Abstract（参考訳）: ニューラルネットワークは高度な組合せ最適化を実現しており、トランスフォーマーベースの解法は、トラベルセールスマン問題(TSP)のほぼ最適解をミリ秒で達成している。 しかし、これらのモデルはブラックボックスとして機能し、彼らが学習した幾何学的パターンや、ツアー建設中に採用したヒューリスティックについて見当もつかない。 本研究では,機械的解釈可能性手法であるスパースオートエンコーダ(SAEs)をトランスフォーマーベースのTSPソルバに適用し,アクティベーションベースの解釈可能性手法の動作研究モデルへの最初の応用を示す。 我々は、100ノードインスタンス上で強化学習を施したポインタネットワークをトレーニングし、SAEをエンコーダの残余ストリームに適合させて、解釈可能な特徴の過剰完全辞書を発見する。 解析により,この解法は, 凸ハルノード上で活性化する境界検出器, 局所密度領域に対応するクラスタ感応性, 幾何分割を符号化する分離器機能など, 基礎的TSP概念を反映する特徴を自然に発達させることが判明した。 これらの発見は、ニューラルネットワークTSPソルバがノード選択の前に何を計算するかの最初のモデル内説明を提供し、幾何構造が明示的な監督なしに出現することを示し、ニューラルネットワーク効率とアルゴリズムの解釈可能性を組み合わせた透明なハイブリッドシステムへの経路を提案する。 インタラクティブなフィーチャーエクスプローラ:https://reubennarad.github.io/TSP_interp

関連論文リスト

• Parseval Convolution Operators and Neural Networks [16.78532039510369]
  まず、Parseval畳み込み演算子をエネルギー保存フィルタバンクのクラスとして同定する。 次に,基本Parsevalモジュールの連鎖によるフィルタバンクの設計・特定のための構築的アプローチを提案する。 生体医用画像の反復的再構成のためのCNNアルゴリズムの設計により,これらのツールの使用例を示す。
  論文  参考訳（メタデータ） (2024-08-19T13:31:16Z)
• Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
  スパースコーディングとディープラーニングの交差点を探索し,特徴抽出能力の理解を深める。 我々は、畳み込みニューラルネットワーク(CNN)のスパース特徴抽出能力の収束率を導出する。 スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
  論文  参考訳（メタデータ） (2024-08-10T12:43:55Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Vecchia Gaussian Process Ensembles on Internal Representations of Deep Neural Networks [2.186901738997927]
  レグレッションタスクでは、標準ガウス過程(GP)とディープニューラルネットワーク(DNN)が自然不確実性定量化(UQ)を提供する。 本稿では,DVE(Deep Vecchia ensemble)という代替手法を提案する。 DVEは事前訓練されたネットワークと互換性があり、計算オーバーヘッドが低い。
  論文  参考訳（メタデータ） (2023-05-26T16:19:26Z)
• Revisit the Algorithm Selection Problem for TSP with Spatial Information Enhanced Graph Neural Networks [4.084365114504618]
  本稿では,ユークリッド旅行セールスマン問題(TSP)のアルゴリズム選択問題を再検討する。 我々はGINESと呼ばれる新しいグラフニューラルネットワーク(GNN)を提案する。 GINESは都市の座標と都市間の距離を入力として取ります。 これは、1つのデータセットにおける従来の手作りの機能ベースのアプローチよりも優れている。
  論文  参考訳（メタデータ） (2023-02-08T13:14:20Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Learning A 3D-CNN and Transformer Prior for Hyperspectral Image Super-Resolution [80.93870349019332]
  本稿では,CNN の代わりに Transformer を用いて HSI の事前学習を行う新しい HSISR 手法を提案する。 具体的には、まず勾配アルゴリズムを用いてHSISRモデルを解き、次に展開ネットワークを用いて反復解過程をシミュレートする。
  論文  参考訳（メタデータ） (2021-11-27T15:38:57Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)
• Deep neural networks for inverse problems with pseudodifferential operators: an application to limited-angle tomography [0.4110409960377149]
  線形逆問題において擬微分演算子(Psi$DOs)を学習するための新しい畳み込みニューラルネットワーク(CNN)を提案する。 フォワード演算子のより一般的な仮定の下では、ISTAの展開された反復はCNNの逐次的な層として解釈できることを示す。 特に、LA-CTの場合、アップスケーリング、ダウンスケーリング、畳み込みの操作は、制限角X線変換の畳み込み特性とウェーブレット系を定義する基本特性を組み合わせることで正確に決定できることを示す。
  論文  参考訳（メタデータ） (2020-06-02T14:03:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。