論文の概要: Heads, Not Backbones: Output Heads Dominate Architectures on Fat-Tailed Returns

• arxiv url: http://arxiv.org/abs/2606.30037v1
• Date: Mon, 29 Jun 2026 09:35:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.165684
• Title: Heads, Not Backbones: Output Heads Dominate Architectures on Fat-Tailed Returns
• Title（参考訳）: ヘッドズ、バックボーンではなく、アウトプットヘッドがファットプレートリターンのアーキテクチャを支配している
• Abstract要約: 3つの出力ヘッドの下の4つの現代的なバックボーンを比較します。 バックボーン間の切り替えはCRPSを1.5パーセント以下に変化させる。 短い地平線での太い尾のリターンでは、頭部が背骨を支配している。
• 参考スコア（独自算出の注目度）: 2.9826130868895224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a deep forecasting pipeline for fat-tailed financial returns at short horizons, which matters more - the backbone architecture or the output head? We compare four modern backbones (TimesNet, DLinear, N-BEATS, iTransformer) under three output heads: a point head, a single-Gaussian density head, and a Gaussian mixture density head with K=4 components. On S and P 500 monthly log-returns (1871-2023) under anchored walk-forward validation, the three heads form a strict gradient: switching from point to Gaussian improves CRPS by about 1.3 percent; switching from Gaussian to mixture adds a further about 2.4 percent. Switching between backbones, in contrast, changes CRPS by less than 1.5 percent on the point-head row and on the backbone-mean axis; density-head backbone spread is larger (up to 5.1 percent on the h=1 Gaussian row, driven by N-BEATS) but the head gradient (3.7 percentage points) still dominates. The Model Confidence Set on squared errors does not exclude any of the 12 variants at the 5 percent level: the head separates them only on distributional metrics (CRPS, pinball, coverage), not on squared error. The mixture head incremental value over a single Gaussian is largest in the highest-volatility regimes (13.9 percent in 1970s stagflation at h=12), confirming the mixture captures tail risk beyond what a unimodal Gaussian can express. The picture is horizon-dependent: the head dominates at short horizons, but at long horizons (h >= 6) the backbone re-takes the lead - an h-split we document against classical baselines (section 5.1). We conclude that on fat-tailed returns at short horizons, the head dominates the backbone, and the mixture distribution adds genuine value over a single Gaussian during crisis periods when risk-management decisions actually matter.
• Abstract（参考訳）: ファットテールの金融リターンを短期的に予測するパイプラインでは、バックボーンアーキテクチャやアウトプットヘッドが重要か? 我々は、ポイントヘッド、単一ガウス密度ヘッド、K=4成分のガウス混合密度ヘッドの4つの出力ヘッド(TimesNet、DLinear、N-BEATS、iTransformer)を比較した。 SとP500の月間ログリターン(1871-2023年)では、3つの頭が厳格な勾配を形成しており、ポイントからガウシアンに切り替えるとCRPSが約1.3%改善し、ガウシアンからミックスに切り替えると約2.4%向上している。 一方、バックボーン間の切り替えは、ポイントヘッド行とバックボーン平均軸で1.5パーセント以下変化し、密度ヘッドバックボーンの広がりは大きい(H=1ガウス列で最大5.1%、N-BEATSで駆動される)が、ヘッド勾配(3.7%)は依然として支配的である。 Model Confidence Set on squared errorは、5%レベルの12の変種を除外しない:ヘッドは、二乗エラーではなく、分散メトリクス(CRPS、ピンボール、カバレッジ)で分離する。 単一ガウスの混合ヘッドインクリメンタル値は、最も高いボラティリティ状態(1970年代の13.9%はh=12で停滞)において最大であり、この混合が非モダルガウスが表現できる範囲を超えて尾のリスクを捉えることを確認している。 頭部は短い地平線で支配されるが、長い地平線(h >= 6)では、バックボーンがリードを奪回する。 リスク管理決定が実際に重要となる危機期には, 頭部が背骨を圧倒し, 混合分布が単一ガウスの真の価値を付加すると結論付けた。

関連論文リスト

• Emotion as a Distribution: Joint Valence-Arousal Probability Learning for Speaker-Independent Multimodal Emotion Recognition [0.4779196219827507]
  マルチモーダル認識装置は 人間の感情を 1つのハードラベルに分解する 我々は、認識者が感情空間上の分布を公開するべきだと論じている。 我々のシステムは、ヴァレンス-アルーサル平面上で9時間9ドル確率行列を出力する。
  論文  参考訳（メタデータ） (2026-09-04T22:34:14Z)
• SoftWater: Class-Aware Rate Allocation for Softmax Quantization [5.213778368155993]
  訓練後の量子化パイプラインは、通常、ソフトマックス出力層を高精度に残す。 現代の語彙を持つ小さなLLMでは、頭部は全パラメータの15-30%を占めており、fp16ヘッドを持つ名目2ビットのモデルは重量の何倍ものビットを格納することができる。 我々は、元の出力分布と量子化された出力分布のKL分散の下で、レート歪み問題としてソフトマックス層量子化を仮定する。
  論文  参考訳（メタデータ） (2026-08-12T13:06:50Z)
• Multi-Head Attention Residuals [18.056247839398512]
  MHAR(Multi-Head Attention Residuals)は標準変圧器の100M,350M,1Bでのバリデーション損失を改善する。 MHARは、ルーティングクエリをサブスペース毎のHに再設定し、それぞれが深さ履歴に対して独自のソフトマックスを持つ。 トレーニングされたクエリの直接調査では、学習されたサブスペースの不一致が下層のドライバであることを確認している。
  論文  参考訳（メタデータ） (2026-07-22T06:51:51Z)
• HydraHead: From Head-Level Functional Heterogeneity to Specialized Attention Hybridization [54.02338209487246]
  我々はHydraHeadを紹介した。HydraHeadは、フルアテンション(FA)とリニアアテンション(LA)をヘッド軸に沿ってハイブリッド化する新しいアーキテクチャである。 HydraHeadは、検索クリティカルなヘッドを識別し、FAのみを保存する、解釈可能性駆動の選択戦略を備えている。 ベースラインを512Kのコンテキスト長で69%以上改善し、ネイティブコンテキスト長256Kと同等の大きさのモデルであるQwen3.5に近づいた。
  論文  参考訳（メタデータ） (2026-06-18T11:14:38Z)
• SpatialAvatar-0: High-Quality 4D Head Avatar with Multi-Stage Reconstruction [29.13831933508847]
  高品質な4Dヘッドアバターは、テレプレゼンス、AR/VR、デジタルと人間のインタラクションの中心である。 一般化可能なフィードフォワード予測器とオブジェクトごとの精製器は並列に成熟している。 本研究では,共有FLAME-mesh-bound Gaussian表現を用いたSpatialAvatar-0を提案する。
  論文  参考訳（メタデータ） (2026-06-14T07:55:57Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• HEOM-in-Calibration-Loop: Exposing Non-Markovian Bath Signatures That Markovian Calibration Elides in Superconducting-Qubit Tune-Up [2.3774562616857717]
  我々は、Tier-1/f Burkardバスで駆動されるQuTiP 5.x階層型運動方程式をマルチプロトコールキャリブレーションDAGに統合する。 パルスレベルシミュレータの凍結プラットフォーム上で, セゾルデとメゾルデとを比較した。
  論文  参考訳（メタデータ） (2026-04-23T09:15:13Z)
• Incoherent Deformation, Not Capacity: Diagnosing and Mitigating Overfitting in Dynamic Gaussian Splatting [0.0]
  動的3次元ガウス散乱法は、単眼ビデオでは強いトレーニングビューPSNRを実現するが、D-NeRFベンチマークでは不十分である。 鉄道車両の平均PSNR間隔は6.18dBで、個々のシーンで11dBまで上昇する。 EER(Elastic Energy Regularization)は、クラウドを85%拡大しながら、ギャップを40.8%削減する。
  論文  参考訳（メタデータ） (2026-04-17T23:41:50Z)
• Linear Predictability of Attention Heads in Large Language Models [0.5833117322405447]
  事前学習したトランスフォーマーは,頭部間線形構造が広範に存在することを示す。 我々は、参照ヘッドKV状態のみをキャッシュし、残りのヘッドをオンザフライで再構築することでこれを活用します。
  論文  参考訳（メタデータ） (2026-03-04T09:04:03Z)
• Complex-Valued Unitary Representations as Classification Heads for Improved Uncertainty Quantification in Deep Neural Networks [1.932555230783329]
  現代のディープニューラルネットワークは高い予測精度を達成するが、キャリブレーションは不十分である。 本稿では、バックボーンの特徴を複素値空間に投影する量子インスピレーション付き分類ヘッドアーキテクチャを提案する。 CIFAR-10のアブレーション実験により, 統一等級ヘッド(カイリーユニタリ, マグニチュード, ソフトマックスで読み出す複雑な特徴)が0.0146の予測誤差(ECE)を達成し, 標準ソフトマックスヘッドの2.4倍の改善を示した。 驚くべきことに、ソフトマックスの読み出しをヒルベルト則測定層(量子力学的に動機づけられたアプローチ)に置き換えると、キャリブレーションは0.0819に低下する。
  論文  参考訳（メタデータ） (2026-02-17T00:45:27Z)
• Optimized Minimal 4D Gaussian Splatting [50.29519144753797]
  4D Gaussian Splattingは動的シーン表現の新しいパラダイムとして登場し、複雑な動きを持つシーンのリアルタイムレンダリングを可能にした。 何百万人ものガウス人が高忠実度再構築を必要としているため、ストレージオーバーヘッドの大きな課題に直面している。 OMG4は、4次元ガウス模型を忠実に表現できる有能なガウスのコンパクトな集合を構成するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-04T16:11:13Z)
• Semi-Supervised Unconstrained Head Pose Estimation in the Wild [57.11798881492183]
  本研究では,最初の半教師なしヘッドポーズ推定手法であるSemiUHPEを提案する。 本手法は, 前回のランドマークに基づくアフィンアライメントよりも, 野生の頭部のアスペクト比不変収穫が優れているという観測に基づいている。 提案手法は, 汎用物体回転回帰法や3次元頭部再構成法など, その他の密接に関連する問題を解く上でも有用である。
  論文  参考訳（メタデータ） (2024-04-03T08:01:00Z)
• HS-Diffusion: Semantic-Mixing Diffusion for Head Swapping [150.06405071177048]
  ヘッドスワップ(HS-Diffusion)のための意味混合拡散モデルを提案する。 ソース・ヘッドとソース・ボディのセマンティック・レイアウトをブレンドし、その後、セマンティック・レイアウト・ジェネレータによって遷移領域を塗り替える。 画像ベースのヘッドスワップベンチマークを構築し,2つの設計基準を設計する。
  論文  参考訳（メタデータ） (2022-12-13T10:04:01Z)
• An Improved Normed-Deformable Convolution for Crowd Counting [70.02434289611566]
  頭の中のCNN機能のスケール適応機能を活用するために、変形可能な畳み込みを提案する。 本論文では,改良されたノーマッド・デフォルマブル・コンボリューション(textiti.e.NDConv)を提案する。 本手法は,上海技術A,上海技術B,UCF_QNRF,UCF_CC_50データセットの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-06-16T10:56:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。