論文の概要: Efficient Decoding of Compositional Structure in Holistic Representations

• arxiv url: http://arxiv.org/abs/2305.16873v1
• Date: Fri, 26 May 2023 12:26:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 15:02:23.482795
• Title: Efficient Decoding of Compositional Structure in Holistic Representations
• Title（参考訳）: 全体表現における構成構造の効率的な復号化
• Authors: Denis Kleyko, Connor Bybee, Ping-Chen Huang, Christopher J. Kymn, Bruno A. Olshausen, E. Paxon Frady, Friedrich T. Sommer
• Abstract要約: 本稿では,検索タスクへのアプローチに使用できる復号化手法の概要について述べる。 次に、外部ノイズや記憶要素を精度の低いものに含めるなど、いくつかの設定で検討した手法を評価する。 スパース符号化および圧縮されたセンシング文献からの復号技術は、合成された分散表現から情報を復号するのにも適している。
• 参考スコア（独自算出の注目度）: 5.282400611789837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the task of retrieving information from compositional distributed representations formed by Hyperdimensional Computing/Vector Symbolic Architectures and present novel techniques which achieve new information rate bounds. First, we provide an overview of the decoding techniques that can be used to approach the retrieval task. The techniques are categorized into four groups. We then evaluate the considered techniques in several settings that involve, e.g., inclusion of external noise and storage elements with reduced precision. In particular, we find that the decoding techniques from the sparse coding and compressed sensing literature (rarely used for Hyperdimensional Computing/Vector Symbolic Architectures) are also well-suited for decoding information from the compositional distributed representations. Combining these decoding techniques with interference cancellation ideas from communications improves previously reported bounds (Hersche et al., 2021) of the information rate of the distributed representations from 1.20 to 1.40 bits per dimension for smaller codebooks and from 0.60 to 1.26 bits per dimension for larger codebooks.
• Abstract（参考訳）: 本稿では,超次元計算/ベクトル記号アーキテクチャによる構成分散表現から情報を取得するタスクと,新しい情報レート境界を実現する新しい手法を提案する。 まず,検索タスクへのアプローチに使用できる復号化手法の概要を紹介する。 技法は4つのグループに分けられる。 次に、外部ノイズや記憶要素を精度の低いものに含めるなど、いくつかの設定で検討した手法を評価する。 特に、スパースコーディングや圧縮センシング文学(超次元コンピューティングやベクトルシンボリックアーキテクチャによく用いられる)からの復号技術は、構成的分散表現から情報を復号するのにも適している。 これらの復号技術と通信からの干渉キャンセルのアイデアを組み合わせることで、より小さなコードブックでは1.20ビットから1.40ビット、大きなコードブックでは0.60ビットから1.26ビットに分散表現の情報レートが向上した(hersche et al., 2021)。

関連論文リスト

• Extracting Text Representations for Terms and Phrases in Technical Domains [9.27244202193623]
  そこで本研究では,大容量の事前学習組込み行列を再構築する目的で,小文字モデルを用いたテキスト符号化手法を提案する。 このアプローチでトレーニングされたモデルは、技術領域における文エンコーダの品質に適合するだけでなく、5倍小さく、最大10倍高速である。
  論文  参考訳（メタデータ） (2023-05-25T08:59:36Z)
• Cross-Scale Context Extracted Hashing for Fine-Grained Image Binary Encoding [1.3649494534428745]
  本稿では,クロススケールコンテキスト抽出ハッシュネットワーク(CSCE-Net)を提案する。 CSCE-Netはコンテンツ関連動的サイン関数(DSF)を学習し、元の単純なサイン関数を置き換える。 我々のCSCE-Netは文脈に敏感で、正確な画像バイナリエンコーディングでうまく機能する。
  論文  参考訳（メタデータ） (2022-10-14T06:52:40Z)
• Dataset Condensation with Latent Space Knowledge Factorization and Sharing [73.31614936678571]
  与えられたデータセットの規則性を利用してデータセットの凝縮問題を解決する新しい手法を提案する。 データセットを元の入力空間に直接凝縮するのではなく、学習可能な一連のコードでデータセットの生成プロセスを仮定する。 提案手法は,様々なベンチマークデータセットに対して,有意なマージンで新しい最先端記録を達成できることを実験的に示す。
  論文  参考訳（メタデータ） (2022-08-21T18:14:08Z)
• Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
  ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。 本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-09-18T00:21:17Z)
• A Novel Upsampling and Context Convolution for Image Semantic Segmentation [0.966840768820136]
  最近のセマンティックセグメンテーションの方法は、しばしば深い畳み込みニューラルネットワークを用いたエンコーダデコーダ構造を採用している。 ネットワーク内の画像の空間情報を効率的に保存するために,ガイドフィルタに基づく高密度アップサンプリング畳み込み法を提案する。 ADE20KとPascal-Contextのベンチマークデータセットでは,それぞれ82.86%,81.62%の画素精度を記録した。
  論文  参考訳（メタデータ） (2021-03-20T06:16:42Z)
• A Meta-embedding-based Ensemble Approach for ICD Coding Prediction [64.42386426730695]
  国際疾病分類 (icd) は、世界中で臨床コーディングに使われているデファクトコードである。 これらのコードにより、医療提供者は償還を請求し、診断情報の効率的な保管と検索を容易にします。 提案手法は,日常的な医学データと科学論文の外部知識を用いて,効果的に単語ベクトルを訓練することにより,神経モデルの性能を高める。
  論文  参考訳（メタデータ） (2021-02-26T17:49:58Z)
• A Holistically-Guided Decoder for Deep Representation Learning with Applications to Semantic Segmentation and Object Detection [74.88284082187462]
  一般的な戦略の1つは、バックボーンネットワークに拡張畳み込みを採用し、高解像度のフィーチャーマップを抽出することです。 本稿では,高分解能なセマンティクスリッチな特徴マップを得るために紹介される,新たなホリスティック誘導デコーダを提案する。
  論文  参考訳（メタデータ） (2020-12-18T10:51:49Z)
• Towards Demystifying Dimensions of Source Code Embeddings [5.211235558099913]
  Code2vecニューラルソースコードの埋め込み内容の理解を深めるための予備的な結果を示す。 以上の結果から,手工芸品は高次元のcode2vec 埋め込みに非常に近い性能が得られることが示唆された。 また、code2vecの埋め込みは、手作りの特徴よりも情報ゲインの少ない次元の除去に対して、より弾力性が高いことが判明した。
  論文  参考訳（メタデータ） (2020-08-29T21:59:11Z)
• Improved Code Summarization via a Graph Neural Network [96.03715569092523]
  一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。 これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:36:42Z)
• Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
  本稿では,効率よく適応的なコード駆動グラフを提案する。 自動エンコーダのコンテキストでデコードすることで更新される。 ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
  論文  参考訳（メタデータ） (2020-02-27T05:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。