論文の概要: Sparse Mutual Information Graph Averaging for Improving Random Indexing Embeddings

• arxiv url: http://arxiv.org/abs/2608.05724v1
• Date: Thu, 06 Aug 2026 08:07:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.710428
• Title: Sparse Mutual Information Graph Averaging for Improving Random Indexing Embeddings
• Title（参考訳）: ランダムインデックス埋め込み改善のためのスパース相互情報グラフ平均化
• Abstract要約: スパースワード埋め込みパイプラインは、スパースグローバルコーパス統計に依存しながら、密度共起行列の物質化、密度分解、勾配訓練を避けることができる。 本稿では,疎正点数相互情報(PPMI)グラフ上で平均値の重み付けにより改良されたランダムインデックス(RI)ベクトルについて検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Sparse word embedding pipelines can avoid dense co-occurrence matrix materialization, dense factorization, and gradient training while still relying on sparse global corpus statistics. This paper studies Random Indexing (RI) vectors refined by weighted averaging on a sparse Positive Pointwise Mutual Information (PPMI) graph. On a fairytales corpus, the covered semantic analogy set consists of 272 Google family- category questions. On this family subset, PPMI top-K graph averaging repairs a weak RI initialization, improving accuracy from 19.4+-0.7% to 30.7+-2.9% across five seeds. Under the single tested runs, the same neighborhood averaging reduces family- subset analogy accuracy for PPMI+SVD (singular value decom- position), Binary+SVD, CBOW, and Skip-gram. Thus the method is not competitive with neural baselines on text8 and gives near- zero strict similarity correlation on SimLex-999. While Bloom filter sketches underperform RI in the tested configuration, we find that PPMI graph averaging with top-K pruning is a useful non-gradient repair for weak RI embeddings. On the fairytales dataset, PPMI top-K=50 graph averaging improves RI with accuracy going from 19.4+-0.7% to 30.7+-2.9%, and performing best with a seed42 of 34.6%.
• Abstract（参考訳）: スパースワード埋め込みパイプラインは、スパースグローバルコーパス統計に依存しながら、密度共起行列の物質化、密度分解、勾配訓練を避けることができる。 本稿では,疎正点数相互情報(PPMI)グラフ上で平均値の重み付けにより改良されたランダムインデックス(RI)ベクトルについて検討する。 Fairytales corpusでは、カバーされたセマンティックなアナロジーセットが272のGoogleファミリーカテゴリの質問で構成されている。 このファミリーサブセットでは、PPMIトップKグラフ平均化は弱いRI初期化を修復し、精度を19.4+-0.7%から5つの種子で30.7+-2.9%に改善する。 1回の試験では、同じ地区平均化により、PPMI+SVD(singular value decom- position)、Binary+SVD、CBOW、Skip-gramのファミリーサブセット類似度が減少する。 したがって、この方法はtext8上の神経ベースラインと競合せず、SimLex-999上でほぼゼロに近い類似性相関を与える。 試験された構成では,BloomフィルタはRIを過小評価するが,PPMIグラフをトップKプルーニングで平均化することは,弱いRI埋め込みに対する非段階的な修復に有用である。 フェアリータレスデータセットでは、PPMIトップK=50グラフ平均化により、精度が19.4+-0.7%から30.7+-2.9%に向上し、シード42の34.6%で最高となる。

関連論文リスト

• Scaling Laws for Classical Machine Learning on Tabular Data: A Benchmark Study [0.0]
  127人の大学院生が、それぞれ3つの割り当てられたデータセットに固定されたプロトコルを実行した。 6つのファミリーのうち5つのファミリーレベルの指数は、各ファミリーのクロスデータセット曲線とデータセットごとの指数とをほぼ同等に予測する。 また,N* がターゲット誤差 0.15 に達するための実用的なデータ要求表を作成した。
  論文  参考訳（メタデータ） (2026-07-23T23:45:09Z)
• LLM Features Can Hurt GNNs: Concatenation Interference on Homophilous Graph Benchmarks [10.283803346813047]
  グラフニューラルネットワーク(GNN)にLLM生成ノード機能を追加することで、標準ベンチマークの精度が向上することが広く報告されている。 LLMの特徴が純粋に入力結合によって導入された場合、エンド・ツー・エンドのパイプラインが成功するホモフレンドリーなベンチマークにおいて、その精度を体系的に低下させることができる。
  論文  参考訳（メタデータ） (2026-06-16T06:30:30Z)
• Selecting Samples on Graphs: A Unified Dataset Pruning Framework for Lossless Training Acceleration [71.77541419885925]
  グラフベースの統合DPフレームワークを提案する。 データセットを重み付きグラフとしてモデル化することにより、DPは最大重み付き傾き問題(MWCP)としてキャストできる。 ResNet-50でImageNet-1kの精度を犠牲にすることなく、トレーニング時間を40%以上短縮する。
  論文  参考訳（メタデータ） (2026-06-11T05:13:32Z)
• vstash: Local-First Hybrid Retrieval with Adaptive Fusion for LLM Agents [0.0]
  ベクトル類似性検索と全文キーワードマッチングを組み合わせたローカルファーストの文書メモリシステム**vstash**を提案する。 すべてのデータはsqlite-vecを使って近傍の検索に近づき、FTS5でキーワードマッチングを行う単一のファイルに格納される。
  論文  参考訳（メタデータ） (2026-04-16T19:22:58Z)
• Edge-aware baselines for ogbn-proteins in PyTorch Geometric: species-wise normalization, post-hoc calibration, and cost-accuracy trade-offs [45.88028371034407]
  PyTorch Geometric におけるogbnタンパク質の再現可能なエッジ認識ベースラインを提案する。 最強のベースラインは、和ベースのエッジ・ツー・ノード機能を備えたGraphSAGEです。 レーベルごとの温度スケーリングとラベルごとの閾値は、AUCの変更を無視して、マイクロF1と期待キャリブレーション誤差(ECE)を大幅に改善する。
  論文  参考訳（メタデータ） (2025-11-17T11:09:46Z)
• Identity-Link IRT for Label-Free LLM Evaluation: Preserving Additivity in TVD-MI Scores [3.959606869996232]
  本報告では,TVD-MIの2次試行平均値が,非線形リンク関数を使わずに項目応答理論(IRT)に適合する付加的構造で中心確率スコアを得ることを示す。 Giniエントロピーからこのクリップ付き線形評価を導出し、境界飽和を扱うボックス制約最小二乗の定式化を導出する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:25Z)
• Revisiting Rotation Averaging: Uncertainties and Robust Losses [51.64986160468128]
  現在の手法の主な問題は、推定エピポーラを通して入力データと弱い結合しか持たない最小コスト関数である。 本稿では,点対応から回転平均化への不確実性を直接伝播させることにより,基礎となる雑音分布をモデル化することを提案する。
  論文  参考訳（メタデータ） (2023-03-09T11:51:20Z)
• On Learning Mixture of Linear Regressions in the Non-Realizable Setting [44.307245411703704]
  線形回帰(MLR)の混合はラベルを予測せずに値のリストを予測できることを示す。 本稿では,一般的な最小化 (AM) アルゴリズムのバージョンが,実現可能なモデルが仮定されていない場合でも,データセットに最も適した線を見つけることを示す。
  論文  参考訳（メタデータ） (2022-05-26T05:34:57Z)
• Predict then Interpolate: A Simple Algorithm to Learn Stable Classifiers [59.06169363181417]
  Predict then Interpolate (PI) は環境全体にわたって安定な相関関係を学習するためのアルゴリズムである。 正しい予測と間違った予測の分布を補間することにより、不安定な相関が消えるオラクル分布を明らかにすることができる。
  論文  参考訳（メタデータ） (2021-05-26T15:37:48Z)
• Comprehensive Graph-conditional Similarity Preserving Network for Unsupervised Cross-modal Hashing [97.44152794234405]
  教師なしクロスモーダルハッシュ(UCMH)は近年ホットトピックとなっている。 本稿では,dgcpn(deep graph-neighbor coherence preservation network)を考案する。 DGCPNは3種類のデータ類似性を利用して、損失を保存する包括的な類似性を管理する。
  論文  参考訳（メタデータ） (2020-12-25T07:40:59Z)
• Cluster-Based Information Retrieval by using (K-means)- Hierarchical Parallel Genetic Algorithms Approach [0.0]
  クラスタベースの情報検索は、ドキュメントの大きなデータセットを処理する場合、高速である。 検索された文書の品質を高め、IRの効率を高め、ユーザ検索から無関係な文書を減らす。 3つの共通データセット(NLP、CISI、CACM)は、リコール、精度、F測定平均を計算するために使用される。
  論文  参考訳（メタデータ） (2020-08-01T02:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。