論文の概要: Richer Representations for Neural Algorithmic Reasoning via Auxiliary Reconstruction

• arxiv url: http://arxiv.org/abs/2606.00559v1
• Date: Sat, 30 May 2026 06:23:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.523038
• Title: Richer Representations for Neural Algorithmic Reasoning via Auxiliary Reconstruction
• Title（参考訳）: 補助的再構成によるニューラルネットワーク推論のためのよりリッチな表現法
• Abstract要約: 符号化された表現から入力状態を復元することを目的とした再構成モジュールを提案する。 この補助的な再構成タスクは、エンコーダが入力に関する重要な情報を保持することを奨励する。 トレーニング中にこのタスクを組み込むことで、既存のニューラルネットワークの性能が標準ベンチマークで向上することを示す。
• 参考スコア（独自算出の注目度）: 11.696025328806416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural algorithmic reasoning has emerged as a popular research direction. It aims to train neural networks to mimic the step-by-step behavior of classical rule-based algorithms. More specifically, the execution of such algorithms can be abstracted as a sequence of states, where each state represents the intermediate outcome after an execution step. The training objective is to generate state sequences that replicate the underlying algorithmic process. A common framework for this task adopts an encoder-processor-decoder architecture, where the encoder learns representations of states, the processor simulates algorithmic steps, and the decoder reconstructs output states. While prior work has focused on improving the processor, the role of the encoder in representation learning has received little attention. Most methods rely on simple MLP encoders, raising the question of whether such representations are sufficiently informative for supporting algorithmic reasoning. This paper investigates how to improve encoder representations for neural algorithmic reasoning. We propose a reconstruction module that aims to recover the input state from its encoded representation. This auxiliary reconstruction task encourages the encoder to retain critical information about the input. We demonstrate that incorporating this task during training improves the performance of existing neural architectures on standard benchmarks. Furthermore, we observe that current encoders often underutilize the correlations among features within a state. To address this, we draw inspiration from self-supervised learning and design an enhanced variant of the auxiliary task that encourages the encoder to capture intra-state feature dependencies. Experimental results show that our method enables the encoder to learn richer representations, thereby enhancing the performance of existing processors on algorithmic reasoning tasks.
• Abstract（参考訳）: ニューラルネットワーク推論は、一般的な研究の方向性として現れている。 ニューラルネットワークをトレーニングして、古典的なルールベースのアルゴリズムのステップバイステップの動作を模倣することを目的としている。 より具体的には、そのようなアルゴリズムの実行は、実行ステップの後に各状態が中間結果を表す状態のシーケンスとして抽象化できる。 トレーニングの目的は、基礎となるアルゴリズムプロセスを複製する状態シーケンスを生成することである。 ここでは、エンコーダが状態の表現を学習し、プロセッサがアルゴリズムのステップをシミュレートし、デコーダが出力状態を再構成する。 これまではプロセッサの改良に重点を置いてきたが、表現学習におけるエンコーダの役割はほとんど注目されていない。 ほとんどの手法は単純なMPPエンコーダに依存しており、そのような表現がアルゴリズム推論をサポートするのに十分な情報であるかどうかという疑問を提起している。 本稿では,ニューラルネットワーク推論のためのエンコーダ表現の改善方法について検討する。 符号化された表現から入力状態を復元することを目的とした再構成モジュールを提案する。 この補助的な再構成タスクは、エンコーダが入力に関する重要な情報を保持することを奨励する。 トレーニング中にこのタスクを組み込むことで、既存のニューラルネットワークの性能が標準ベンチマークで向上することを示す。 さらに、現在のエンコーダは、状態内の特徴間の相関を過小評価することが多い。 これを解決するために,自己指導型学習からインスピレーションを得て補助タスクの強化版を設計し,エンコーダが状態内特徴の依存関係をキャプチャすることを奨励する。 実験の結果,エンコーダはよりリッチな表現を学習し,アルゴリズムによる推論タスクにおいて,既存のプロセッサの性能を向上させることができることがわかった。

関連論文リスト

• Accelerated Decoding of Centroid Positional Encoding for Instance Segmentation [49.97373153077311]
  本稿では,各画素が遠心波の位置埋め込みを行う場合の,遠心波符号化に伴うデコードオーバーヘッドについて検討する。 当社のソリューションは、デコードオーバーヘッドを大幅に削減し、Endto-Endレイテンシを改善し、CPUベースのアプローチと単純なGPU実装の両方を上回ります。
  論文  参考訳（メタデータ） (2026-09-15T09:05:17Z)
• Faster Predictive Coding Networks via Better Initialization [52.419343840654186]
  本稿では,従来のトレーニングサンプルの反復的進捗を抑えることを目的とした,予測符号化ネットワークのための新しい手法を提案する。 本実験は,教師なし設定と教師なし設定の両方において,収束速度と最終テスト損失が大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2026-01-28T08:52:19Z)
• Self-Attention Based Semantic Decomposition in Vector Symbolic Architectures [6.473177443214531]
  本稿では,反復探索問題における自己アテンションに基づく更新規則に基づく共振器ネットワークの新たな変種を提案する。 認識に基づくパターン認識,シーン分解,オブジェクト推論など,多くのタスクに応用できる。
  論文  参考訳（メタデータ） (2024-03-20T00:37:19Z)
• Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
  我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。 我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。 CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-06-23T09:57:44Z)
• Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
  ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。 文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:02:04Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems [38.672160430296536]
  トランスフォーマーモデルは、要約を含む幅広いNLPタスクにおいて最先端の結果を得た。 これまでの研究は、エンコーダの二次的自己保持機構という、重要なボトルネックに重点を置いてきた。 この研究はトランスのエンコーダ・デコーダのアテンション機構に焦点を当てている。
  論文  参考訳（メタデータ） (2021-09-08T19:32:42Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。