論文の概要: Spectrally Deconfounded Gradient Boosting

• arxiv url: http://arxiv.org/abs/2607.09371v1
• Date: Fri, 10 Jul 2026 12:51:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.841995
• Title: Spectrally Deconfounded Gradient Boosting
• Title（参考訳）: 分光分解グラディエントブースティング
• Authors: Andrea Nava, Peter Bühlmann, Fabio Sigrist,
• Abstract要約: 我々は勾配向上のための非線形スペクトル分解フレームワークを開発する。 スペクトル損失だけでは分解は達成されないことを示す。 また、この手法を一般確率や非線形共起にまで拡張する。
• 参考スコア（独自算出の注目度）: 10.803532361460741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flexible machine-learning methods can be sensitive to hidden confounding: they may learn associations induced by unobserved confounders rather than stable signals. Spectral deconfounding mitigates this problem by shrinking high-variance directions of the covariate matrix that, under dense confounding, carry latent confounder information. Existing work has largely focused on linear models. We develop a nonlinear spectral deconfounding framework for gradient boosting. Our approach replaces the ordinary squared-error loss by a spectral loss, which alters the boosting dynamics by slowing down learning in confounding-aligned directions. We show that deconfounding is not achieved by the spectral loss alone, but by the interaction between spectral shrinkage and regularization, especially in terms of early stopping. Moreover, we provide a mixed-model interpretation that connects LAVA-type shrinkage to random-effects adjustment and yields an empirical-Bayes procedure for tuning the spectral loss. We also extend the method to general likelihoods and nonlinear confounding using Laplace approximations and kernel random effects. Across synthetic and real-world experiments, spectrally deconfounded boosting improves estimation of the target function under hidden confounding and is substantially more scalable than existing nonlinear spectral deconfounding baselines.
• Abstract（参考訳）: フレキシブルな機械学習手法は、隠れたコンファウンディングに敏感であり、安定した信号ではなく、観測されていないコンファウンスによって引き起こされる関連を学習することができる。 スペクトル分解は、共変量行列の高分散方向を縮めることでこの問題を緩和し、密度の強い共創情報を運ぶ。 既存の作業は主に線形モデルに重点を置いている。 我々は勾配向上のための非線形スペクトル分解フレームワークを開発する。 提案手法は,通常の2乗誤差損失をスペクトル損失に置き換えることにより,不整合方向の学習を遅くすることで,高速化のダイナミクスを変化させる。 スペクトル損失のみでは分解は達成されず, スペクトル収縮と正則化の相互作用によって, 特に早期停止の点で達成されることを示す。 さらに、LAVA型縮退とランダムエフェクト調整を結合する混合モデル解釈を行い、スペクトル損失を調整するための経験的ベイズ法を得る。 また、Laplace近似とカーネルランダム効果を用いて、一般確率と非線形共振に拡張する。 合成および実世界の実験全体において、スペクトル分解ブーイングは隠れた境界下での目標関数の推定を改善し、既存の非線形スペクトル分解ベースラインよりもかなりスケーラブルである。

関連論文リスト

• Robust Graph Representation Learning via Adaptive Spectral Contrast [0.9558392439655014]
  高周波信号はヘテロフィリーの符号化には不可欠であるが、スペクトル集中摂動下では大きなばらつきを示す。 信頼性を考慮したスペクトルゲーティング機構により,このジレンマを解消するフレームワークであるASPECTを提案する。 ASPECTは9つのベンチマークのうち8つで新しい最先端のパフォーマンスを実現し、有意義な構造的ヘテロフィリを偶発的なノイズから効果的に分離する。
  論文  参考訳（メタデータ） (2026-04-02T10:38:00Z)
• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• On the Spectral Flattening of Quantized Embeddings [25.64641307046705]
  超低精度での大規模言語モデルの訓練は、離散量子化制約と言語データの本質的な重み付きスペクトル特性の相違に根ざした不安定性によって、決定的に阻害される。 この研究は、LLMのスペクトル感度を定量化するだけでなく、安定な低ビット最適化に必要な条件としてスペクトル忠実性を確立する。
  論文  参考訳（メタデータ） (2026-02-01T02:21:53Z)
• Spectral Gradient Descent Mitigates Anisotropy-Driven Misalignment: A Case Study in Phase Retrieval [13.218607858857295]
  スペクトル勾配法は、スケールを捨てながら方向情報を保存することによって勾配の更新を変更する。 非線形位相探索モデルの動的解析により,これらの利得のメカニズムを解明する。
  論文  参考訳（メタデータ） (2026-01-30T07:12:58Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Holistic Physics Solver: Learning PDEs in a Unified Spectral-Physical Space [54.13671100638092]
  Holistic Physics Mixer (HPM) は、スペクトルと物理情報を統一された空間に統合するためのフレームワークである。 我々はHPMが精度と計算効率の両面で最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:19:39Z)
• Experimental emulator of pulse dynamics in fractional nonlinear Schrödinger equation [6.084996921308185]
  一般化された分数非線形シュリンガー方程式(FNLSE)により制御されるパルス伝搬を支援する非線形光学プラットフォームを提案する。 提案手法は, キャビティ内とキャビティ外とを区別し, 有効分数群速度分散(FGVD)とKerr非線形性の間の相互作用を探索する。 これらの知見は、分数非線形系におけるスペクトル時間力学の実験的な研究のための新しい道を開く。
  論文  参考訳（メタデータ） (2023-11-26T00:34:15Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Spectral Feature Augmentation for Graph Contrastive Learning and Beyond [64.78221638149276]
  グラフ(および画像)におけるコントラスト学習のための新しいスペクトル特徴論法を提案する。 各データビューに対して,特徴写像毎の低ランク近似を推定し,その近似を地図から抽出して補数を求める。 これは、2つの価値ある副産物(単に1つまたは2つのイテレーション)を楽しむ非標準パワーレジームである、ここで提案された不完全パワーイテレーションによって達成される。 グラフ/画像データセットの実験では、スペクトルフィーチャの増大がベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-02T08:48:11Z)
• Robust, Nonparametric, Efficient Decomposition of Spectral Peaks under Distortion and Interference [0.0]
  本稿では, 高速フーリエ変換を用いて, 周波数スペクトルのスペクトルピークの分解法を提案する。 スペクトルのピークを擬対称関数としてモデル化する。そこでは、距離が大きくなると中心周波数の周りの非増加的な振る舞いが制約となる。 我々のアプローチは、観測システムによって引き起こされる可能性のあるスペクトルの任意の歪み、干渉、ノイズに対してより堅牢である。
  論文  参考訳（メタデータ） (2022-04-18T17:08:37Z)
• Sparse Quantized Spectral Clustering [85.77233010209368]
  このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。 急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
  論文  参考訳（メタデータ） (2020-10-03T15:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。