論文の概要: Tiny Recursive Message Passing

• arxiv url: http://arxiv.org/abs/2610.18649v1
• Date: Tue, 13 Oct 2026 16:13:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.679008
• Title: Tiny Recursive Message Passing
• Title（参考訳）: Tiny Recursive Message Passing
• Abstract要約: メッセージパッシングネットワークは離散推論格子のようなテスト時間プロシージャで訓練可能であることを示す。 約99%の精度をSudoku-Extremeで取得し、H100で約10ドル、CPUで約9ドルでトレーニングする16ドルkのパラメーターをモデルにしています。 我々のモデルは、トレーニング中に見られるものよりも大きなインスタンスにゼロショットを転送し、N-クエンスに対する一般的な神経ベースラインとブール適合度をパラメータのごく一部で上回ることを示す。
• 参考スコア（独自算出の注目度）: 8.591570727421828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Message passing neural networks have shown remarkable performance in algorithmic and constraint reasoning, due to their ability to encode the structure of the task directly in the architecture. Recent work has shown that better results can be achieved using recursive transformers trained with deep supervision and truncated recursions, which make extremely deep loops stable to train, and equipped with test-time procedures such as discrete deduction lattices. In this work, we apply the same procedures to message passing networks, and show that the two ingredients are complementary, and lead to parameter efficient models: we obtain about $99\%$ test accuracy on Sudoku-Extreme with a model of $16$k parameters that trains in about $10$ minutes on an H100, or in $9$ hours on a CPU. We further show that the cost of truncating gradients grows with the number of rounds information needs to cross the graph, making the choice of wiring a trade-off between robustness to truncation and transfer across problem sizes. We conclude by showing that our models transfer zero-shot to larger instances than those seen during training, outperforming popular neural baselines on N-queens and Boolean satisfiability with a fraction of their parameters.
• Abstract（参考訳）: メッセージパッシングニューラルネットワークは、アーキテクチャ内でタスクの構造を直接エンコードする能力のため、アルゴリズム的および制約的推論において顕著なパフォーマンスを示している。 近年の研究では, 深部監督と切り離された再帰を訓練した再帰変圧器を用いて, 極端に深部ループを安定させ, 離散導出格子などの試験時間処理を施すことにより, より良い結果が得られることが示されている。 本研究では,Sudoku-Extremeで約99$%の精度で,H100で約10ドル,CPUで約9ドルでトレーニングする16$kのパラメータをモデルとした。 さらに, トラッピング勾配のコストは, グラフを横断するラウンド情報の数に比例して増大することを示す。 我々のモデルは、トレーニング中に見られるものよりも大きなインスタンスにゼロショットを転送し、N-クエンスに対する一般的な神経ベースラインとブール適合度をパラメータのごく一部で上回ることを示す。

関連論文リスト

• Breaking the Tuning Barrier: Zero-Hyperparameters Yield Multi-Corner Analysis Via Learned Priors [22.16752289030178]
  既存の手法は基本的なトレードオフに直面しており、単純なモデルは自動化されるが非線形回路では失敗する。 私たちは、数百万の回帰タスクで事前トレーニングされた基礎モデルから、エンジニアリングされた事前を学習された事前に置き換えることで、この障壁を突破します。 提案手法は,最先端の精度(平均MREが0.11%以下)とゼロチューニングとを一致させ,総検証コストを10倍以上削減する。
  論文  参考訳（メタデータ） (2026-03-13T15:40:57Z)
• Form Follows Function: Recursive Stem Model [0.0]
  本稿では,計算量とNP問題を解くためにRecursive Stem Model (RSM)を導入する。 RSMは、初期イテレーションを分離された"ウォームアップ"ステップとして扱い、最終ステップでのみ損失を適用します。 Sudoku-Extremeでは、RSMはテスト時間計算で精度97.5%に達する。
  論文  参考訳（メタデータ） (2026-03-03T00:55:00Z)
• Efficient Parallel Training Methods for Spiking Neural Networks with Constant Time Complexity [63.56009745101597]
  スパイキングニューラルネットワーク (SNN) はしばしば、$T$スパイクのシーケンシャル処理のために、高い時間複雑性の$O(T)$に悩まされる。 本稿では,ネットワークアーキテクチャを変更することなく,SNNトレーニングを高速化するFPT法を提案する。
  論文  参考訳（メタデータ） (2025-06-10T13:27:27Z)
• Efficient Verification-Based Face Identification [50.616875565173274]
  効率の良いニューラルモデルで顔認証を行う際の問題点を$f$で検討する。 我々のモデルは、23kパラメータと5M浮動小数点演算(FLOPS)しか必要としない、かなり小さな$f$に導かれる。 我々は、6つの顔認証データセットを用いて、我々の手法が最先端のモデルよりも同等か優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-20T18:08:02Z)
• Unsupervised Learning for Solving the Travelling Salesman Problem [28.62497359169851]
  旅行セールスマン問題(TSP)を解決するための教師なし学習フレームワークUTSPを提案する。 我々は、代理損失を用いてグラフニューラルネットワーク(GNN)を訓練する。GNNは、各エッジが最適経路の一部である確率を表すヒートマップを出力する。 次に、熱マップに基づいて最終予測を生成するために局所探索を適用する。
  論文  参考訳（メタデータ） (2023-03-19T02:30:27Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)
• Sparsifying Transformer Models with Trainable Representation Pooling [5.575448433529451]
  本稿では,トランスフォーマーモデルにおいて,トレーニングプロセス中に最も表現力の高いトークン表現を選択することを学習することで注意を分散させる新しい手法を提案する。 2次時間とメモリの複雑さを減らしたのは、堅牢なトレーニング可能なトップ$k$演算子によって達成された。
  論文  参考訳（メタデータ） (2020-09-10T22:49:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。