論文の概要: Topological Simplification in Predictive Coding Networks

• arxiv url: http://arxiv.org/abs/2608.02816v1
• Date: Mon, 03 Aug 2026 19:12:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.925065
• Title: Topological Simplification in Predictive Coding Networks
• Title（参考訳）: 予測符号化ネットワークにおけるトポロジ的単純化
• Abstract要約: 本研究では,予測符号化ネットワーク(PCN)における学習のトポロジについて,定量的に永続的なホモロジー解析を用いて検討する。 以上の結果から,PCNの圧縮構造と層構造に永続的ホモロジーが有用であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.8399542059465145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the topology of learned representations in predictive coding networks (PCNs), a neuro-inspired bidirectional architecture, using a quantitative layer-wise persistent homology analysis. We train well-performing PCNs on a synthetic classification dataset ($\geq 99.9\%$ test accuracy) and on MNIST ($\geq 95\%$ test accuracy), and measure how topological features change across layers for different architectures and activation functions. We find that smaller PCNs collapse connected components across layers earlier than larger models (Spearman $\unicode{x1D70C} \in [0.72, 0.79]$ across activations), with model size measured as the sum of hidden-layer widths. We also observe a strong negative correlation ($\unicode{x1D70C} = -0.58$) between the depth at which simplification occurs and reconstruction error; i.e., architectures that simplify later reconstruct better. Finally, a seed-level bootstrap comparison across architectures and activations shows that PCNs consistently collapse connected components later than matched MLPs, with an average difference of $3.6$ layers. These results suggest that persistent homology offers a useful quantitative lens on the compression--reconstruction tradeoff in PCNs, and that both model capacity and the recurrent, bidirectional dynamics of predictive coding inference shape when this tradeoff is resolved across layers.
• Abstract（参考訳）: 予測符号化ネットワーク(PCN)における学習表現のトポロジについて,定量的な層単位での永続的ホモロジー解析を用いて検討した。 我々は、総合分類データセット(\geq 99.9\%$テスト精度)とMNIST(\geq 95\%$テスト精度)に基づいて、良好なパフォーマンスのPCNをトレーニングし、異なるアーキテクチャやアクティベーション関数の層間でトポロジ的特徴がどのように変化するかを測定する。 スピアマン$\unicode{x1D70C} \in [0.72, 0.79]$ \in [0.72, 0.79]$ \in [0.72, 0.79]$ \in [Spearman $\unicode{x1D70C} \in [0。 また、単純化が生じる深さと再構成エラー、すなわち、後の再構築をより単純化するアーキテクチャとの間の強い負の相関(\unicode{x1D70C} = -0.58$)も観測する。 最後に、アーキテクチャやアクティベーション間でのシードレベルのブートストラップ比較では、PCNはMLPにマッチするよりも遅く、接続されたコンポーネントを一貫して崩壊させ、平均的な差は3.6ドルである。 これらの結果は,PCNの圧縮-再構成トレードオフにおいて,持続的ホモロジーが有用な定量的レンズを提供することを示すとともに,このトレードオフが層間で解決されたとき,モデルキャパシティと予測符号化推論形状の双方向ダイナミクスの両方が有用であることを示唆している。

関連論文リスト

• On the Geometric Structure of Layer Updates in Deep Language Models [0.0]
  深層言語モデルにおける階層更新の幾何学的構造について検討する。 階層的な更新は、支配的なトークンワイズコンポーネントと制限されたトークンワイズ関数クラスによってキャプチャされない残基への分解を許容することを示す。
  論文  参考訳（メタデータ） (2026-04-02T18:44:34Z)
• DuaDeep-SeqAffinity: Dual-Stream Deep Learning Framework for Sequence-Only Antigen-Antibody Affinity Prediction [0.0]
  従来の計算手法は、しばしば実験的に決定された3D構造に依存している。 本稿では,アミノ酸配列のみからアフィニティスコアを予測する新しいシーケンスのみのディープラーニングフレームワークであるDuaDeep-SeqAffinityを紹介する。 提案手法は,1D Convolutional Neural Networks (CNN) とTransformer encoderを併用して,事前学習したESM-2タンパク質言語モデル埋め込みを利用する。
  論文  参考訳（メタデータ） (2025-12-26T12:06:59Z)
• Protein Structure Tokenization via Geometric Byte Pair Encoding [36.39587248348813]
  原理的タンパク質構造プロテタイザ(PST)であるGeoBPEを紹介する。 GeoBPEは、連続的でノイズの多いマルチスケールのバックボーンコンフォメーションを、大域的な制約を課しながら、幾何学の離散文'に変換する。 圧縮(類似の歪み率で1ビットあたり10倍の圧縮)、データ効率(10倍のトレーニングデータ)、一般化を提供する。
  論文  参考訳（メタデータ） (2025-11-13T22:53:29Z)
• On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology [9.537910170141467]
  特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
  論文  参考訳（メタデータ） (2023-11-08T10:45:12Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。