論文の概要: Topology Survives Shuffling: Robust Long-Context Memory Access Prediction for Graph Analytics
- arxiv url: http://arxiv.org/abs/2610.39477v1
- Date: Thu, 29 Oct 2026 06:45:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.469511
- Title: Topology Survives Shuffling: Robust Long-Context Memory Access Prediction for Graph Analytics
- Title(参考訳): グラフ分析のためのロバストな長期メモリアクセス予測
- Abstract要約: 独立に制御された観測履歴と予測地平線を持つメモリアクセス予測のための表現学習フレームワークであるLoCoMAPを提案する。
6種類の合成グラフ上で,連結成分 (CC), PageRank (PR), Single-Source Shortest Paths (SSSP) の評価を行った。
長いコンテキスト予測子は、再トレーニングなしで関連するグラフやレイアウトをまたいで堅牢であり、一般化可能なグラフプリフィッシャーを可能にする。
- 参考スコア(独自算出の注目度): 10.382948833881693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph analytics generates irregular, topology-dependent memory-access streams via indirect traversals, limiting data prefetching. Accurate prediction enables timely prefetches that hide memory latency. However, ML predictors couple short histories with fixed horizons, fitting the training trace's node layout rather than learning transferable graph patterns. We propose LoCoMAP, a long-context representation-learning framework for memory-access prediction with independently controlled observation history and prediction horizon. We evaluate Connected Components (CC), PageRank (PR), and Single-Source Shortest Paths (SSSP) on six synthetic graph families, with Erdos-Renyi (ER) and Grid as random and deterministic controls. We test two interventions: same-family regeneration changes connectivity, while node shuffling disrupts layout but preserves connectivity. Across 18 graph-workload pairs, extending history from 8 to 128 accesses improves F1 by 7.8%, while extending prediction horizon from 8 to 512 improves F1 by 88.3%. For CC, regeneration is less disruptive than shuffling: without retraining, long context retains 95.4% of original F1 and outperforms short context in six families. Under full shuffle, long context improves CC F1 by 33.6% across ER, Barabasi-Albert, Copying Model, and Stochastic Block Model (SBM), with a 2.06x gain on SBM, but not on Watts-Strogatz or Grid, where near-zero delta mass shifts into heavy tails beyond the predictor's range. Long context outperforms short context on six real-world CC graphs. At full shuffle, long-context PR retains 57.6% of original F1 and averages 11.0% above short context. Both SSSP models retain about 30% of original F1 under full shuffle as distance updates access vertex data in a new order. Within these bounds, long-context predictors are robust across related graphs and layouts without retraining, enabling a generalizable graph prefetcher.
- Abstract(参考訳): グラフ分析は、間接トラバーサルを通じて不規則でトポロジに依存したメモリアクセスストリームを生成し、データのプリフェッチを制限する。
正確な予測は、メモリ遅延を隠蔽するタイムリーなプレフェッチを可能にする。
しかし、ML予測器は、転送可能なグラフパターンを学習するのではなく、トレーニングトレースのノードレイアウトに適合するように、短い履歴と固定された地平線を結合する。
観測履歴と予測地平線を独立に制御したメモリアクセス予測のための長文表現学習フレームワークであるLoCoMAPを提案する。
我々は,Ardos-Renyi(ER)とGridをランダムかつ決定論的制御として,連結成分(CC),PageRank(PR),Single-Source Shortest Paths(SSSP)を6つの合成グラフファミリ上で評価した。
ノードシャッフルはレイアウトを妨害するが接続性は維持する。
18のグラフ-ワークロードペアで、履歴を8から128のアクセスに拡張すると、F1が7.8%向上し、8から512への予測水平線が88.3%向上する。
CCの場合、再生はシャッフルよりも破壊的ではなく、リトレーニングなしでは、長いコンテキストは元のF1の95.4%を保持し、6つのファミリーで短いコンテキストを上回る。
完全なシャッフルの下では、ロングコンテキストは、ER、バラバシ・アルベルト、コピーモデル、ストーカスティックブロックモデル(SBM)全体でCC F1を33.6%改善し、SBMは2.06倍上昇するが、Watts-StrogatzやGridには及ばない。
長いコンテキストは6つの実世界のCCグラフで短いコンテキストよりも優れている。
フルシャッフルでは、長いコンテキストPRはオリジナルのF1の57.6%を保持し、平均は短いコンテキストより11.0%高い。
どちらのSSSPモデルもF1の30%をフルシャッフルで保持しており、距離更新によって新しい順序で頂点データにアクセスすることができる。
これらの境界内では、長いコンテキスト予測子は、再トレーニングなしで関連するグラフやレイアウトをまたいで堅牢であり、一般化可能なグラフプリフィッシャーを可能にする。
関連論文リスト
- CoPE-CGL: Community-aware Prototype Extraction for Replay-Free Continual Graph Learning [4.663417755125449]
連続的なグラフ学習は、スクラッチから再トレーニングすることなく、グラフが進化するにつれてモデルを維持する。
既存のメソッドは通常、トランスダクティブまたはインダクティブな設定をターゲットとし、しばしば過去のサブグラフを保存するか、推論時にタスク識別子を必要とする。
マルチホップラプラシアン平滑化を前提とした,パラメータフリーな事前構造を用いたリプレイフリーフレームワークを提案する。
論文 参考訳(メタデータ) (2026-10-26T12:14:44Z) - Do Temporal Link Predictors Need Learned Memory? A Smoothed-Count Baseline with a Handful of Parameters [4.032084095153604]
統計的言語モデリングに基づく時間リンク予測器を提案する。
ソース間で遷移と共起数をプールし、ソースが生成したことのないリンクを予測する。
論文 参考訳(メタデータ) (2026-09-28T15:09:02Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳(メタデータ) (2026-08-31T06:35:07Z) - BF1: A Causal Dyadic Sparse-Attention Retrofit for Efficient Long-Context Transformers [0.0]
本研究では,小面積の局所的近傍,大域的な第1ブロック,および対数的に空間化された歴史的ブロックを結合したブロックアライン・ダイアルド・スパース・アテンション経路について検討する。
最適化されたBF16の実装は、2Kトークンと4Kトークンの間で高い注意を払い、32Kで1層あたり10.91倍のプリフィルスピードアップに達する。
本稿では,数値的正当性,選択相互作用スケーリング,カーネル性能,部分モデル言語モデリング,および一致した次世代言語モデリングについて検討する。
論文 参考訳(メタデータ) (2026-08-19T18:35:12Z) - FBFM: A Training-Free Asynchronous Feedback Mechanism for Flow-Matching in World-Action Models Execution [50.18922379062543]
フィードバックフローマッチング(Feedback Flow Matching, FBFM)は、アクティブに生成されたチャンク内で再接地を行うトレーニング不要な推論機構である。
トレーニング不要であるため、このメカニズムは予期せぬ事象に対する応答性を改善し、長時間の作業におけるドリフトを抑制する。
我々は,FBFMを第2世代WAMと第2世代WAMの両方で評価した。
論文 参考訳(メタデータ) (2026-07-31T10:11:09Z) - Learning Large Graph Property Prediction via Graph Segment Training [61.344814074335304]
本稿では,メモリフットプリントを一定にして大きなグラフ特性予測を学習できる汎用フレームワークを提案する。
バックプロパゲーションのためにサンプリングされていないセグメントに対する埋め込みを効率的に得るために,歴史的埋め込みテーブルを導入することにより,GSTパラダイムを洗練する。
実験の結果,GST-EFDはメモリ効率が良く,高速でありながら,通常の全グラフ学習システムよりもテスト精度が若干向上していることがわかった。
論文 参考訳(メタデータ) (2023-05-21T02:53:25Z) - Phases, Modalities, Temporal and Spatial Locality: Domain Specific ML
Prefetcher for Accelerating Graph Analytics [7.52191887022819]
ドメイン固有モデルを用いたグラフ解析のためのMLベースのPrefetcherであるMPGraphを提案する。
MPGraphの新しい3つの最適化: 位相遷移のソフト検出、アクセスと時間前処理のための位相固有多モードモデル。
CSTを使用すると、MPGraphは12.52-21.23%のIPC改善を実現し、最先端の非MLプレフェッチャーBOを7.5-12.03%、MLベースのプレフェッチーVoyagerとTransFetchを3.27-4.58%上回った。
論文 参考訳(メタデータ) (2022-12-10T09:14:44Z) - EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。
EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。
提案手法はいくつかの最先端手法より一貫して優れている。
論文 参考訳(メタデータ) (2022-11-19T09:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。