論文の概要: UHD-BERT: Bucketed Ultra-High Dimensional Sparse Representations for Full Ranking

• arxiv url: http://arxiv.org/abs/2104.07198v1
• Date: Thu, 15 Apr 2021 02:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 14:53:45.104560
• Title: UHD-BERT: Bucketed Ultra-High Dimensional Sparse Representations for Full Ranking
• Title（参考訳）: UHD-BERT:フルランク化のための超高次元スパース表現
• Authors: Kyoung-Rok Jang, Junmo Kang, Giwon Hong, Sung-Hyon Myaeng, Joohee Park, Taewon Yoon, Heecheol Seo
• Abstract要約: ニューラルモデルの緻密な表現の力は非効率なコストで得られ、再ランクとしての使用を制限する。 直接制御可能な空間性を備えた超高次元(UHD)表現方式を提案する。 我々のモデルであるUHD-BERTは、BERT言語モデリングに基づく超高次元スパース表現の利点を最大化する。
• 参考スコア（独自算出の注目度）: 3.8637577198874182
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural information retrieval (IR) models are promising mainly because their semantic matching capabilities can ameliorate the well-known synonymy and polysemy problems of word-based symbolic approaches. However, the power of neural models' dense representations comes at the cost of inefficiency, limiting it to be used as a re-ranker. Sparse representations, on the other hand, can help enhance symbolic or latent-term representations and yet take advantage of an inverted index for efficiency, being amenable to symbolic IR techniques that have been around for decades. In order to transcend the trade-off between sparse representations (symbolic or latent-term based) and dense representations, we propose an ultra-high dimensional (UHD) representation scheme equipped with directly controllable sparsity. With the high dimensionality, we attempt to make the meaning of each dimension less entangled and polysemous than dense embeddings. The sparsity allows for not only efficiency for vector calculations but also the possibility of making individual dimensions attributable to interpretable concepts. Our model, UHD-BERT, maximizes the benefits of ultra-high dimensional (UHD) sparse representations based on BERT language modeling, by adopting a bucketing method. With this method, different segments of an embedding (horizontal buckets) or the embeddings from multiple layers of BERT (vertical buckets) can be selected and merged so that diverse linguistic aspects can be represented. An additional and important benefit of our highly disentangled (high-dimensional) and efficient (sparse) representations is that this neural approach can be harmonized with well-studied symbolic IR techniques (e.g., inverted index, pseudo-relevance feedback, BM25), enabling us to build a powerful and efficient neuro-symbolic information retrieval system.
• Abstract（参考訳）: ニューラル・インフォメーション・サーチ(ir)モデルは、その意味マッチング能力が、単語ベースのシンボリックアプローチのよく知られた同義語や多義語問題を改善できるため、主に有望である。 しかし、ニューラルネットワークの高密度表現のパワーは非効率なコストを伴い、再ランカとしての使用を制限する。 一方、スパース表現は、シンボル的あるいは潜時的な表現を強化するのに役立ち、一方で、何十年も前から存在する象徴的赤外線技術に対処可能な、効率の逆インデックスを利用することができる。 疎外表現(記号的あるいは潜時表現に基づく)と密表現のトレードオフを超越するために,直接制御可能な空間性を備えた超高次元(UHD)表現スキームを提案する。 高次元で、各次元の意味を密な埋め込みよりも絡み合いや多面的なものにしようと試みる。 このスパーシティはベクトル計算の効率性だけでなく、解釈可能な概念に個々の次元を帰結させることができる。 我々のモデルであるUHD-BERTは,バケット法を用いて,BERT言語モデリングに基づく超高次元スパース表現の利点を最大化する。 この方法では、埋め込みの異なるセグメント(水平バケット)や、bert(垂直バケット)の複数の層からの埋め込みを選択してマージすることにより、多様な言語的側面を表現することができる。 高度に絡み合った(高次元)効率的な(スパース)表現の付加的かつ重要な利点は、このニューラルアプローチがよく研究されたシンボルIR技術(例えば逆インデックス、擬似関連フィードバック、BM25)と調和し、強力で効率的なニューラルシンボリック情報検索システムを構築することができることである。

関連論文リスト

• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• HyperINR: A Fast and Predictive Hypernetwork for Implicit Neural Representations via Knowledge Distillation [31.44962361819199]
  Inlicit Neural Representations (INRs)は近年、科学的可視化の分野で大きな可能性を秘めている。 本稿では,コンパクトINRの重みを直接予測できる新しいハイパーネットワークアーキテクチャであるHyperINRを紹介する。 多分解能ハッシュ符号化ユニットのアンサンブルを一斉に利用することにより、INRは最先端の推論性能を得る。
  論文  参考訳（メタデータ） (2023-04-09T08:10:10Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• Deep Diversity-Enhanced Feature Representation of Hyperspectral Images [87.47202258194719]
  トポロジを改良して3次元畳み込みを補正し,上行階の高次化を図る。 また、要素間の独立性を最大化するために特徴マップに作用する新しい多様性対応正規化(DA-Reg)項を提案する。 提案したRe$3$-ConvSetとDA-Regの優位性を実証するために,様々なHS画像処理および解析タスクに適用する。
  論文  参考訳（メタデータ） (2023-01-15T16:19:18Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Learning with Holographic Reduced Representations [28.462635977110413]
  Holographic Reduced Representations (HRR)は、実数値ベクトル上でシンボリックAIを実行する方法である。 本稿では,ハイブリッド型ニューラルシンボリック・アプローチが学習に有効かどうかを理解するために,このアプローチを再考する。
  論文  参考訳（メタデータ） (2021-09-05T19:37:34Z)
• Learning Sparse Sentence Encoding without Supervision: An Exploration of Sparsity in Variational Autoencoders [36.60504726767521]
  空間性は、固定次元のベクトルにおけるデータの効率的な表現を学習するための効果的な帰納バイアスである。 本稿では,画像領域でよく研究されているVAEフレームワーク内の空間性について検討する。 3つのデータセットにまたがるテキスト分類における空間性の影響を考察する。
  論文  参考訳（メタデータ） (2020-09-25T20:08:32Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。