論文の概要: TreeCCA: Canonical Correlation Analysis via Gradient-Boosted Trees
- arxiv url: http://arxiv.org/abs/2607.27027v1
- Date: Wed, 29 Jul 2026 15:23:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.724252
- Title: TreeCCA: Canonical Correlation Analysis via Gradient-Boosted Trees
- Title（参考訳）: TreeCCA: 勾配ブーストツリーによる正準相関解析
- Abstract要約: TreeCCA は CCA エンコーダとしてエンド・ツー・エンドのツリーアンサンブルを訓練する最初の方法である。
各ツリー分割は1つの特徴を選択するため、どの入力が余分なコストでクロスビュー相関を駆動するかが重要になる。
TreeCCAは、非線形相関抽出と下流分類の精度の両方において、線形CCAと一貫して一致または超越する。
- 参考スコア（独自算出の注目度）: 0.9212760523732925
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gradient-boosted trees dominate tabular machine learning, yet canonical correlation analysis has always relied on linear or neural encoders. We propose \textbf{TreeCCA}, the first method to train gradient-boosted tree ensembles end-to-end as CCA encoders, inheriting their plug-and-play reliability: no architecture design, familiar hyperparameters, and strong performance with defaults. The technical enabler is the Eckart-Young (EY) loss, which supplies closed-form per-sample gradients that slot directly into any standard GBT library (XGBoost, LightGBM) as a custom objective. TreeCCA is the first CCA method to combine nonlinear accuracy with native interpretability: every tree split selects one feature, so gain importances reveal which inputs drive cross-view correlation at no extra cost. We demonstrate these properties on synthetic benchmarks, where TreeCCA matches or exceeds Deep CCA (2.61 vs.\ 2.43 on Signed Power; 2.93 vs.\ 2.89 on Hermite), and on a sparse benchmark with zero linear cross-view covariance, where TreeCCA recovers the true support with $\text{Precision@}S = 1.00$ at $p=50$ while PMD finds no signal. On the UCI HAR sensor-fusion benchmark, TreeCCA achieves comparable accuracy to Deep CCA at $5\times$ lower cost, while XGBoost gain importances directly validate a physics-motivated hypothesis about the data --- an interpretation not readily available with neural encoders. Across five popular tabular multi-view datasets, TreeMCCA consistently matches or exceeds linear CCA in both nonlinear correlation extraction and downstream classification accuracy.
- Abstract（参考訳）: 勾配ブースト木は表層機械学習を支配しているが、正準相関解析は常に線形エンコーダやニューラルエンコーダに依存している。
そこで我々は,CCAエンコーダとして木アンサンブルをエンド・ツー・エンドで訓練する最初の方法である‘textbf{TreeCCA} を提案する。
技術的イネーブルはEckart-Young(EY)損失であり、任意の標準GBTライブラリ(XGBoost, LightGBM)に直接スロットするサンプル単位のクローズドフォーム勾配をカスタム目的として提供する。
TreeCCAは非線形精度とネイティブ解釈可能性を組み合わせた最初のCCA手法であり、木分割毎に1つの特徴が選択されるため、どの入力が余分なコストでクロスビュー相関を駆動するかが重要となる。
木質CCAがDeep CCA(2.61対0。
符号パワー 2.43 ^ 2.93 ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^
ここで、TreeCCAは$\text{Precision@}S = 1.00$ at $p=50$で真のサポートを回復するが、PMDはシグナルを見つけない。
UCI HARセンサーフュージョンベンチマークでは、TreeCCAはDeep CCAと同等の精度を5\times$低価格で達成している。
TreeMCCAは5つの一般的な表形式のマルチビューデータセットの中で、非線形相関抽出と下流分類の精度の両方において、線形CCAと一貫して一致または超えている。
関連論文リスト
- Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles [0.0]
本研究では,特徴量変換器(FT-Transformer)をキャリブレーション積み重ねによる勾配木と統合したハイブリッドアーキテクチャを提案する。
提案手法は, 統計的検証, 確率, キャリブレーションの持続的ギャップに対処し, 先行研究で確認された。
パブリックバンクチャーンデータセットでは、ハイブリッドモデル62.10% F1、0.861 AUC-ROC、0.647 PR-AUCがMulti-Layer Perceptron(MLP)ベースラインを3.37 F1ポイント、0.027 AUCを95%の信頼区間で上回っている。
論文 参考訳（メタデータ） (2026-05-26T23:02:38Z) - Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。
潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。
これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
論文 参考訳（メタデータ） (2026-05-26T22:16:42Z) - Scaling Attention via Feature Sparsity [50.64995497733461]
超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。
本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。
GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
論文 参考訳（メタデータ） (2026-03-17T08:41:50Z) - TreeGrad-Ranker: Feature Ranking via $O(L)$-Time Gradients for Decision Trees [73.0940890296463]
確率値は、決定木の局所的な予測値を説明する特徴のランク付けに使用される。
TreeGradは、共同目的の多重線型拡張の勾配を$O(L)$時間で計算する。
TreeGrad-Rankerは、機能ランキングを生成するために共同目標を最適化しながら、勾配を集約する。
TreeGrad-Shapは、積分パラメータを持つベータシェープ値を計算するための数値的に安定なアルゴリズムである。
論文 参考訳（メタデータ） (2026-02-12T06:17:12Z) - Sparse Representations Improve Adversarial Robustness of Neural Network Classifiers [0.0]
ディープニューラルネットワークは、画像分類タスクにおいて極めてよく機能するが、慎重に構築された敵の摂動に弱いままである。
この研究は、線形次元の減少を単純なデータ適応型防衛として再考する。
実証的には、プロジェクション後の小さな非線形ネットワークにより、SPCAは強いホワイトボックスとブラックボックス攻撃の下で、PCAよりも常に優雅に低下する。
論文 参考訳（メタデータ） (2025-09-25T13:21:22Z) - TreeGPT: Pure TreeFFN Encoder-Decoder Architecture for Structured Reasoning Without Attention Mechanisms [0.16244541005112745]
TreeGPTは、構造化推論タスクのための純粋なTreeFFNエンコーダデコーダ設計の可能性を探る無注意ニューラルネットワークアーキテクチャである。
我々はARC Prize 2025データセットに対するアプローチを評価し、TreeGPTは3.16Mパラメータを使用して99%の精度を達成している。
論文 参考訳（メタデータ） (2025-09-06T00:39:33Z) - GraphTreeGen: Subtree-Centric Approach to Efficient and Supervised Graph Generation [6.138671548064356]
GraphTreeGen(GTG)は、効率的な正確なコネクトーム合成のためのサブツリー中心の生成フレームワークである。
GTGはそれぞれのコネクトームをエントロピー誘導のkホップ木に分解し、情報的局所構造を捉える。
モジュラー設計により、超解像とクロスモダリティ合成を接続できる。
論文 参考訳（メタデータ） (2025-08-13T11:02:38Z) - Improving Dual-Encoder Training through Dynamic Indexes for Negative
Mining [61.09807522366773]
本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。
我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
論文 参考訳（メタデータ） (2023-03-27T15:18:32Z) - Lassoed Tree Boosting [53.56229983630983]
有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。
我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
論文 参考訳（メタデータ） (2022-05-22T00:34:41Z) - On the Equivalence of Decoupled Graph Convolution Network and Label
Propagation [60.34028546202372]
いくつかの研究は、カップリングがデカップリングよりも劣っていることを示している。
有効性にもかかわらず、疎結合GCNの作用機構はよく理解されていない。
本稿では,分離GCNの欠陥を克服する適応的学習法(PTA)を提案する。
論文 参考訳（メタデータ） (2020-10-23T13:57:39Z) - Deep Hiearchical Multi-Label Classification Applied to Chest X-Ray
Abnormality Taxonomies [26.841289081747036]
本稿では,CXR CADのためのHMLCアプローチを提案する。
まず, 条件付き確率を直接モデル化し, 条件付き確率で補修することが, 性能向上の鍵となることを示す。
我々は、HMLCが欠落したラベルや不完全なラベルを管理する効果的な手段であることを実証した。
論文 参考訳（メタデータ） (2020-09-11T18:50:23Z) - Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。
認証精度は5.78%,44.96%,43.19%であった。
論文 参考訳（メタデータ） (2020-06-01T05:55:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。