論文の概要: Binary Sparse Codes: Where are we on Energy Efficient Representations?

• arxiv url: http://arxiv.org/abs/2610.41933v1
• Date: Fri, 30 Oct 2026 15:57:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.800197
• Title: Binary Sparse Codes: Where are we on Energy Efficient Representations?
• Title（参考訳）: バイナリスパース符号:エネルギー効率のよい表現はどこにあるのか?
• Abstract要約: 生物学的ニューラルネットワークは、厳密なメタボリック制約の下で印象的な計算能力を達成する。 人工システムの計算戦略としてのスパース符号化への関心が高まった。 生物学的に妥当なアプローチは、意味のある情報保存を維持しながら、ほぼ最大間隔の領域を占有する唯一のアーキテクチャである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biological neural systems achieve impressive computational capabilities under tight metabolic constraints, relying on sparse cortical representations that minimise total neural activity. This combination of efficiency and representational power has motivated growing interest in sparse coding as a computational strategy for artificial systems. Artificial models designed to produce binary sparse codes span three broad paradigms, theoretical methods grounded in efficient coding, deep learning methods trained via backpropagation, and biologically plausible methods that learn through local Hebbian rules, each yielding codes whose quality depends not only on achieving low activation density but also on preserving the informational structure of the input. The latter property, however, lacks an agreed-upon quantitative definition, leaving the field without a principled basis for comparing methods. We propose a set of metrics that formalise information preservation as similarity preservation, measuring how faithfully a binary sparse code reproduces the relational geometry of the input space, and apply this framework to compare four representative methods under matched conditions. The results reveal a consistent trade-off in which models that achieve high information preservation do so at the cost of sparsity, while models approaching the uniformity of an optimal random sparse code tend to sacrifice it. Competitive Sparse Codes, a biologically plausible approach, is the only architecture to occupy a region of near-maximal sparsity while retaining meaningful information preservation. These findings frame the simultaneous satisfaction of both factors as an open challenge for the field and provide a reusable evaluation framework for measuring progress toward it.
• Abstract（参考訳）: 生物学的神経系は、完全な神経活動を最小限に抑えるスパース皮質表現に頼って、厳密な代謝制約の下で印象的な計算能力を達成する。 この効率性と表現力の組み合わせは、人工システムの計算戦略としてのスパース符号化への関心が高まっている。 バイナリスパース符号を生成するために設計された人工モデルは、3つの幅広いパラダイム、効率的なコーディングに基づく理論的手法、バックプロパゲーションによって訓練された深層学習法、および局所的なヘビーンの規則を通して学習する生物学的に妥当な方法、それぞれが低いアクティベーション密度を達成するだけでなく、入力の情報構造を保存することにも依存する品質のコードを生成する。 しかし後者の性質は、合意された量的定義を欠いており、フィールドはメソッドを比較するための原則化された基礎を欠いている。 本稿では,情報保存を類似性保存として形式化し,バイナリスパースコードが入力空間のリレーショナル幾何をいかに忠実に再現するかを計測する指標セットを提案し,この枠組みを適用して,一致した条件下での4つの代表的手法の比較を行う。 この結果から,高情報保存を実現するモデルと,最適なランダムスパース符号の均一性にアプローチするモデルとの相反するトレードオフが明らかとなった。 競合的スパースコード(英語版)は生物学的に妥当なアプローチであり、意味のある情報保存を維持しながら、ほぼ最大範囲の領域を占有する唯一のアーキテクチャである。 これらの知見は,両因子の同時満足度をフィールドのオープンな課題として捉え,その進行度を計測するための再利用可能な評価フレームワークを提供する。

関連論文リスト

• Learning with Boolean threshold functions [0.013714053458441644]
  本研究では,各ノードの値が厳格に$pm 1$であるスパースデータ上でニューラルネットワークを訓練する手法を開発した。 様々なタスクにまたがって、この手法はニューラルネットワークの学習に有効で効率的な基礎を提供する。
  論文  参考訳（メタデータ） (2026-02-19T16:07:25Z)
• Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
  本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。 KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
  論文  参考訳（メタデータ） (2025-10-23T07:12:26Z)
• Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
  差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。 本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。 経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
  論文  参考訳（メタデータ） (2025-06-20T00:17:14Z)
• Communication-Efficient Personalized Distributed Learning with Data and Node Heterogeneity [40.64395367773766]
  本稿では,コミュニケーション効率のよいパーソナライズされた学習アルゴリズムを考案した分散強抽選チケット仮説(TH)を提案する。 提案手法では,各局所モデルは,大域的実数値パラメータのアダマール積とパーソナライズされた2値マスクとして表現される。 本稿では,DSLTHの理論的証明を提案し,提案手法の基礎として確立する。
  論文  参考訳（メタデータ） (2025-04-24T13:02:54Z)
• Skelite: Compact Neural Networks for Efficient Iterative Skeletonization [38.6452617345504]
  骨格化は、その幾何学と位相をコンパクトに符号化した画像から薄い表現を抽出する。 学習可能なコンポーネントを用いて反復骨格化アルゴリズムを訓練するための新しいフレームワークを提案する。 提案手法は,トポロジ制約付きアルゴリズムの100倍の高速化を示す。
  論文  参考訳（メタデータ） (2025-03-10T14:27:25Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• ECLAD: Extracting Concepts with Local Aggregated Descriptors [6.470466745237234]
  そこで本研究では,CNNアクティベーションマップの画素ワイドアグリゲーションから得られた表現に基づいて,概念の自動抽出とローカライズを行う手法を提案する。 本稿では,主成分の画素単位のアノテーションを用いた合成データセットに基づく概念抽出手法の検証手法を提案する。
  論文  参考訳（メタデータ） (2022-06-09T14:25:23Z)
• Integrating Semantics and Neighborhood Information with Graph-Driven Generative Models for Document Retrieval [51.823187647843945]
  本稿では,周辺情報をグラフ誘導ガウス分布でエンコードし,その2種類の情報をグラフ駆動生成モデルと統合することを提案する。 この近似の下では、トレーニング対象がシングルトンまたはペアワイズ文書のみを含む用語に分解可能であることを証明し、モデルが非関連文書と同じくらい効率的にトレーニングできることを示す。
  論文  参考訳（メタデータ） (2021-05-27T11:29:03Z)
• Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders [63.46738617561255]
  訓練された条件付き変分オートエンコーダの離散潜時空間をスパース化する問題を考察する。 顕在的理論を用いて、特定の入力条件から直接証拠を受け取る潜在クラスを特定し、そうでないクラスをフィルタリングする。 画像生成や人間の行動予測などの多様なタスクの実験により,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2020-10-19T01:27:21Z)
• CIMON: Towards High-quality Hash Codes [63.37321228830102]
  我々はtextbfComprehensive stextbfImilarity textbfMining と ctextbfOnsistency leartextbfNing (CIMON) という新しい手法を提案する。 まず、グローバルな洗練と類似度統計分布を用いて、信頼性とスムーズなガイダンスを得る。第二に、意味的整合性学習とコントラスト的整合性学習の両方を導入して、乱不変と差別的ハッシュコードの両方を導出する。
  論文  参考訳（メタデータ） (2020-10-15T14:47:14Z)
• Asymmetric Correlation Quantization Hashing for Cross-modal Retrieval [11.988383965639954]
  クロスモーダルハッシュ法は異種モダリティ間の類似性検索において広く注目を集めている。 本稿では,ACQH法について述べる。 また,不均一なモダリティデータポイントのプロジェクション行列を学習し,クエリを潜在意味空間内の低次元実数値ベクトルに変換する。 学習された実数値コードワードの連続でデータベースポイントを示すために、粗大な方法で埋め込みを積み重ねた合成量子化を構成する。
  論文  参考訳（メタデータ） (2020-01-14T04:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。