論文の概要: Nyström Attention Matches Full Attention for Cross-Sectional Stock Prediction

• arxiv url: http://arxiv.org/abs/2609.08106v1
• Date: Tue, 08 Sep 2026 01:34:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.547757
• Title: Nyström Attention Matches Full Attention for Cross-Sectional Stock Prediction
• Title（参考訳）: Nyström attentionはクロスセクションの株価予測に完全アテンションに一致する
• Abstract要約: MASTERの車種間マルチヘッドはモデルパラメータの42.5%、予測値の25%を占めている。 学習された注意は、ほぼ一様(複雑度278/300)であるが、厳密な均一性は、すべての断面的差別を排除している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: MASTER's inter-stock multi-head attention -- the module responsible for modeling cross-sectional stock relationships -- accounts for 42.5% of model parameters and 25% of predictive value. We systematically decompose this module and uncover a surprising structure: the learned attention is near-uniform (perplexity 278/300), yet forcing exact uniformity eliminates all cross-sectional discrimination. Spectral analysis resolves this paradox: the deviation from uniformity is low-rank (effective rank ~65, top-10 modes capture 96.5% of energy), explaining why sparse approximations consistently fail while Nystrom low-rank attention (m=32 landmarks) matches full O(N^2) attention at O(mN) cost -- certified equivalent via TOST at both N=300 (5 seeds, Rank IC p=0.003) and N=800 (10 seeds, Rank IC p=0.034). Additional findings include: (i) attention anti-correlates with return similarity (Spearman rho = -0.614; on the industry-labeled subset, -0.645 unconditionally and -0.627 after controlling for industry, beta, and volatility), suggesting complementarity-seeking rather than correlation mining; (ii) all graph-based alternatives degrade performance, with hard masking worse than complete module removal; and (iii) at N ~ 3,500 with adapted architectures, no cross-stock module (GCN, Nystrom, or MASTER-style pipeline) significantly outperforms a per-stock LSTM baseline (n=4 seeds), indicating that the benefits observed at smaller scales do not trivially transfer. These results establish that the inter-stock attention's value resides in a compressible, dynamic, near-global redistribution that rewards low-rank approximation but resists sparsification.
• Abstract（参考訳）: クロスセクションのストック関係をモデル化するモジュールであるMASTERは、モデルパラメータの42.5%と予測値の25%を占めている。 我々は、このモジュールを体系的に分解し、学習対象がほぼ一様(複雑度278/300)であるが、厳密な均一性は、すべての断面的識別を排除している。 スペクトル分析により、均一性からの偏差は低いランク(有効ランク ~65, トップ10モードは96.5%)であり、なぜスパース近似が一貫して失敗するのか、また、Nystrom 低ランクの注意(m=32)がO(mN)コストでフルO(N^2)の注意(N=300(5シード、ランクICp=0.003)とN=800(10シード、ランクICp=0.034)で一致しているかを説明する。 その他の発見は以下のとおりである。 (i)リターン類似性(スピアマン・ロー=-0.614、産業ラベル付きサブセット、無条件で-0.645、産業、ベータ、ボラティリティの制御後-0.627)による反相関があり、相関採掘よりも相補性の探究を示唆している。 (ii)全てのグラフベースの代替手段は、完全なモジュール削除よりもハードマスクが悪く、性能が低下する。 (iii) 適応型アーキテクチャのN~3500では, クロスストックモジュール(GCN, Nystrom, MASTER型パイプライン)が1株当たりLSTMベースライン(n=4シード)を著しく上回り, 小規模で観測される利点が容易に伝達されないことを示す。 これらの結果は、車種間注意の値は、低ランク近似に報酬を与えるが、スパシフィケーションに抵抗する圧縮可能で動的で、準グローバルな再分配に存在することを証明している。

関連論文リスト

• Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models [0.0]
  すべてのレイヤの離散コードとスケールに対する共同最適化として量子化を定式化する。 FP16教師に対して,誤差補償のみのパープレキシティ比が9.56+/-0.15に達することを示す。 Qwen2.5-1.5B で 1.125 ビットのグループバイナリの重みを持つ場合、誤差補償だけで FP16 の教師に対して 9.56 +/- 0.15 のパープレキシティ比に達する。
  論文  参考訳（メタデータ） (2026-07-16T06:47:52Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• Robust Dual-Signal Fusion: Hybrid Neuro-Symbolic Gating with Compressed Chain-of-Thought Refinement for Irony Detection in Social Media Texts [0.0]
  本稿では,CoT (Chain-of-Thought) 推論トラジェクトリをSFT (Supervised Fine-Tuning) なしで圧縮するニューロシンボリックアーキテクチャであるRobust Dual-Signal (RDS) Fusionを紹介する。 RDSは78.1%の精度と0.777ドルのマクロF1を達成し、微調整されたBERTweetの絶対的なパフォーマンス天井と一致する。 RDSの融合はRoBERTaのアブレーションと比べ統計的に重要ではなく、同時相乗効果はスタンドアローンベースラインよりも統計的に顕著に改善される。
  論文  参考訳（メタデータ） (2026-06-15T15:22:37Z)
• Constraint-Aware Optimization for Robust Protein Stability Prediction [0.3316543849024811]
  逆フォールディング表現を用いたタンパク質言語モデルの統合によるMultimodal $G$は,Megascaleデータセット上で強力な分布精度を実現する。 既存のアプローチは、これらの制限に主に追加のアーキテクチャコンポーネントを通して対処する。 本稿では, 平衡平均二乗誤差, シームズ反対称正則化器と, 位置推定器の特徴表現における新しいOODマージン損失を組み合わせた制約対応最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-06T11:04:52Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• OmniISR: A Unified Framework for Centralized and Federated Learning via Intermediate Supervision and Regularization [58.03221830946145]
  我々は、純粋なCL、純粋なFL、ハイブリッドCL-FLトレーニングモードを融合する統合フレームワークであるOmniISRを提案する。 我々は,OmniISRが集中型パラダイムとフェデレーション型パラダイムの両方において,モデル性能を一貫して改善していることを示す。
  論文  参考訳（メタデータ） (2026-05-19T04:13:27Z)
• A Penalty-Free Pipeline for Direct Quantum-Annealer Portfolio Optimization [0.0]
  直接量子アニーラーポートフォリオ最適化は、一般にD-Waveハードウェアに送信されるペナルティ符号化QUBOとして定式化される。 この標準定式化は、現在のデバイスでは失敗し、構造的理由を特定する。 期待したリターンから目的のみのQUBOを構築し、それをハードウェア上でサンプリングする。
  論文  参考訳（メタデータ） (2026-05-17T19:50:04Z)
• FregeLogic at SemEval 2026 Task 11: A Hybrid Neuro-Symbolic Architecture for Content-Robust Syllogistic Validity Prediction [0.0017904458681854366]
  SemEval-2026タスク11(Subtask 1)のハイブリッド型ニューロシンボリックシステムであるFregeLogicについて紹介する。 本システムでは,2.85のコンテンツ効果と41.88の総合スコアで94.3%の精度を実現した。 本研究は,アンサンブルコンセンサスが最も低い形式的手法を適用した目的のニューロシンボリックな統合が,本課題で用いられる精度+コンテント・エフェクト・エフェクト・メトリクスの組合せを改善することを示唆している。
  論文  参考訳（メタデータ） (2026-04-20T14:31:00Z)
• Do Generative Metrics Predict YOLO Performance? An Evaluation Across Models, Augmentation Ratios, and Dataset Complexity [43.338311770275745]
  本報告では, YOLOv11の合成増強の制御された評価法について述べる。 実際のトレーニングスプリットの10%から150%の増大率に対して, GAN, 拡散, ハイブリッドベースの6つのジェネレータをベンチマークした。 データセット生成/拡張設定毎に、マッチしたサイズのブートストラッププロトコルで事前トレーニングデータセットメトリクスを計算する。
  論文  参考訳（メタデータ） (2026-02-20T03:02:36Z)
• Structure-Informed Estimation for Pilot-Limited MIMO Channels via Tensor Decomposition [51.56484100374058]
  本稿では、スパース観測から低ランクテンソル完備化としてパイロットリミテッドチャネル推定を定式化する。 合成チャネル実験による最小二乗平均二乗誤差(NMSE)の最小二乗平均誤差(LS)に対する改善 DeepMIMO線トレーシングチャネルの評価では、純粋なテンソル法よりも24-44%NMSEが減少している。
  論文  参考訳（メタデータ） (2026-02-03T23:38:05Z)
• Predictive Coding and Information Bottleneck for Hallucination Detection in Large Language Models [0.8552050317027305]
  大規模言語モデル(LLM)における幻覚は、高レベルのデプロイメントにとって重要な障壁である。 ニューロサイエンスにインスパイアされた信号設計と教師付き機械学習を組み合わせたハイブリッド検出フレームワークである[Model Name]を紹介する。
  論文  参考訳（メタデータ） (2026-01-22T05:00:21Z)
• SKANet: A Cognitive Dual-Stream Framework with Adaptive Modality Fusion for Robust Compound GNSS Interference Classification [47.20483076887704]
  グローバルナビゲーション衛星システム(GNSS)は、洗練された妨害による脅威の増大に直面している。 時間周波数画像(TFI)とパワースペクトル密度(PSD)を統合した2重ストリームアーキテクチャに基づく認知的ディープラーニングフレームワークを提案する。 SKANetは96.99%の精度を達成し、複合妨害分類において優れたロバスト性を示した。
  論文  参考訳（メタデータ） (2026-01-19T07:42:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。