論文の概要: Learned Static Function Data Structures
- arxiv url: http://arxiv.org/abs/2510.27588v1
- Date: Fri, 31 Oct 2025 16:09:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-03 17:52:16.162327
- Title: Learned Static Function Data Structures
- Title(参考訳): 学習された静的関数データ構造
- Authors: Stefan Hermann, Hans-Peter Lehmann, Giorgio Vinciguerra, Stefan Walzer,
- Abstract要約: 静的なキーセットと値とを関連付けるデータ構造を構築するタスクについて検討する。
ハッシュテーブルと比較して、これらのいわゆる静的関数データ構造はキーセットを格納する必要がなく、メモリを著しく少なくする。
学習された静的関数を導入し、機械学習を用いてキーと値の相関をキャプチャする。
- 参考スコア(独自算出の注目度): 0.6608088623810741
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the task of constructing a data structure for associating a static set of keys with values, while allowing arbitrary output values for queries involving keys outside the set. Compared to hash tables, these so-called static function data structures do not need to store the key set and thus use significantly less memory. Several techniques are known, with compressed static functions approaching the zero-order empirical entropy of the value sequence. In this paper, we introduce learned static functions, which use machine learning to capture correlations between keys and values. For each key, a model predicts a probability distribution over the values, from which we derive a key-specific prefix code to compactly encode the true value. The resulting codeword is stored in a classic static function data structure. This design allows learned static functions to break the zero-order entropy barrier while still supporting point queries. Our experiments show substantial space savings: up to one order of magnitude on real data, and up to three orders of magnitude on synthetic data.
- Abstract(参考訳): 本研究では,静的なキーセットと値とを関連付けるデータ構造を構築する上で,外部のキーを含むクエリの任意の出力値を許容するタスクについて検討する。
ハッシュテーブルと比較して、これらのいわゆる静的関数データ構造はキーセットを格納する必要がなく、メモリを著しく少なくする。
圧縮された静的関数が値列のゼロ階経験エントロピーに近づくなど、いくつかの手法が知られている。
本稿では,機械学習を用いてキーと値の相関関係を抽出する学習静的関数を提案する。
各キーに対して、モデルが値上の確率分布を予測し、そこからキー固有のプレフィックスコードを導出し、真の値をコンパクトに符号化する。
生成されたコードワードは古典的な静的関数データ構造に格納される。
この設計により、学習した静的関数は、ポイントクエリをサポートしながらゼロ階エントロピーバリアを壊すことができる。
実験の結果,実データでは最大1桁,合成データでは最大3桁の空間節約が得られた。
関連論文リスト
- Causal Attention with Lookahead Keys [52.63961482746826]
標準的な因果的注意では、各トークンのクエリ、キー、値(QKV)は静的であり、先行するコンテキストのみをエンコードする。
本研究では,Lookahead kEys (CASTLE) を用いたCAuSal aTtentionを導入する。
論文 参考訳(メタデータ) (2025-09-09T00:15:23Z) - How Do Transformers Learn Variable Binding in Symbolic Programs? [5.611678524375841]
シンボリックプログラムにおいて、クエリされた変数を非参照するようにTransformerを訓練する。
このモデルでは、残余ストリームをアドレス可能なメモリ空間として活用することを学びました。
この結果から,Transformer モデルが体系的変数バインディングの実装を学べることを示す。
論文 参考訳(メタデータ) (2025-05-27T08:39:20Z) - Structural Entropy Guided Probabilistic Coding [52.01765333755793]
構造エントロピー誘導型確率的符号化モデルSEPCを提案する。
我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。
分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
論文 参考訳(メタデータ) (2024-12-12T00:37:53Z) - Binning as a Pretext Task: Improving Self-Supervised Learning in Tabular Domains [0.565395466029518]
そこで本研究では,古典的ビンニング手法に基づく新しいプレテキストタスクを提案する。
その考え方は単純で、元の値ではなく、binインデックス(順序またはクラス)を再構築する。
我々の実証調査では、ビンニングの利点がいくつか確認されている。
論文 参考訳(メタデータ) (2024-05-13T01:23:14Z) - Don't Explain Noise: Robust Counterfactuals for Randomized Ensembles [50.81061839052459]
我々は確率論的問題として、堅牢な対実的説明の生成を定式化する。
アンサンブルモデルのロバスト性とベース学習者のロバスト性との関係を示す。
本手法は, 反実的説明から初期観測までの距離をわずかに増加させるだけで, 高いロバスト性を実現する。
論文 参考訳(メタデータ) (2022-05-27T17:28:54Z) - Representation Learning for Sequence Data with Deep Autoencoding
Predictive Components [96.42805872177067]
本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。
我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。
提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
論文 参考訳(メタデータ) (2020-10-07T03:34:01Z) - Sketching Datasets for Large-Scale Learning (long version) [24.478376776509045]
圧縮学習(Compressive Learning)は、データセットを学習前に大量に圧縮する大規模機械学習のアプローチである。
スケッチはまず、慎重に選択された非線形ランダムな特徴を計算し、データセット全体にわたって平均化する。
パラメータは、元のデータセットにアクセスすることなく、スケッチから学習される。
論文 参考訳(メタデータ) (2020-08-04T21:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。