論文の概要: Interpretable Bayesian Tensor Network Kernel Machines with Automatic Rank and Feature Selection

• arxiv url: http://arxiv.org/abs/2507.11136v1
• Date: Tue, 15 Jul 2025 09:37:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 19:46:03.05694
• Title: Interpretable Bayesian Tensor Network Kernel Machines with Automatic Rank and Feature Selection
• Title（参考訳）: 自動ランクと特徴選択による解釈可能なベイズテンソルネットワークカーネル
• Authors: Afra Kilic, Kim Batselier,
• Abstract要約: ネットワークカーネルマシンは、パラメータを低ランクのTNとして表現することでモデル学習を高速化する。 モデル複雑性を推定するために,TN因子の階層的先行性を用いた完全確率的フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.240890834159944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tensor Network (TN) Kernel Machines speed up model learning by representing parameters as low-rank TNs, reducing computation and memory use. However, most TN-based Kernel methods are deterministic and ignore parameter uncertainty. Further, they require manual tuning of model complexity hyperparameters like tensor rank and feature dimensions, often through trial-and-error or computationally costly methods like cross-validation. We propose Bayesian Tensor Network Kernel Machines, a fully probabilistic framework that uses sparsity-inducing hierarchical priors on TN factors to automatically infer model complexity. This enables automatic inference of tensor rank and feature dimensions, while also identifying the most relevant features for prediction, thereby enhancing model interpretability. All the model parameters and hyperparameters are treated as latent variables with corresponding priors. Given the Bayesian approach and latent variable dependencies, we apply a mean-field variational inference to approximate their posteriors. We show that applying a mean-field approximation to TN factors yields a Bayesian ALS algorithm with the same computational complexity as its deterministic counterpart, enabling uncertainty quantification at no extra computational cost. Experiments on synthetic and real-world datasets demonstrate the superior performance of our model in prediction accuracy, uncertainty quantification, interpretability, and scalability.
• Abstract（参考訳）: Tensor Network (TN) Kernel Machinesは、パラメータを低ランクのTNとして表現し、計算とメモリ使用を減らすことでモデル学習を高速化する。 しかし、ほとんどのTNベースのカーネル法は決定論的であり、パラメータの不確実性を無視している。 さらに、テンソルランクや特徴次元のようなモデル複雑性ハイパーパラメータを手動でチューニングする必要がある。 本稿では,TN因子の階層的先行性を用いてモデル複雑性を自動的に推定する,完全確率的フレームワークであるBayesian Tensor Network Kernel Machinesを提案する。 これにより、テンソルランクと特徴次元の自動推論が可能となり、予測の最も関連性の高い特徴を特定し、モデル解釈可能性を高めることができる。 すべてのモデルパラメータとハイパーパラメータは、対応する先行値を持つ潜在変数として扱われる。 ベイズ的アプローチと潜伏変数の依存関係を考えると、平均場変分推論を適用して後部を近似する。 平均場近似をTN因子に適用すると、決定論的計算量と同じ計算量を持つベイズALSアルゴリズムが得られ、余分な計算コストで不確実な定量化が可能となることを示す。 合成および実世界のデータセットの実験は、予測精度、不確実性定量化、解釈可能性、スケーラビリティにおいて、我々のモデルの優れた性能を示す。

関連論文リスト

• A Framework for Nonstationary Gaussian Processes with Neural Network Parameters [0.8057006406834466]
  本稿では,パラメータが特徴空間によって異なる非定常カーネルを用いて,これらのパラメータをニューラルネットワークの出力としてモデル化するフレームワークを提案する。 提案手法は,非定常パラメータの挙動を明確に記述し,大規模データセットへのスケーリングのための近似手法と互換性がある。 いくつかの機械学習データセット上で,本手法の非定常変動と雑音変動を検証した結果,定常モデルと階層モデルの両方に近似して精度とログスコアが得られた。
  論文  参考訳（メタデータ） (2025-07-16T14:09:49Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• A probabilistic, data-driven closure model for RANS simulations with aleatoric, model uncertainty [1.8416014644193066]
  本稿では,レノルズ平均Navier-Stokes (RANS) シミュレーションのためのデータ駆動閉包モデルを提案する。 パラメトリック閉包が不十分な問題領域内の領域を特定するために,完全ベイズ的定式化と余剰誘導先行法を組み合わせて提案する。
  論文  参考訳（メタデータ） (2023-07-05T16:53:31Z)
• Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
  我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。 パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
  論文  参考訳（メタデータ） (2022-01-28T12:00:31Z)
• Scalable Spatiotemporally Varying Coefficient Modelling with Bayesian Kernelized Tensor Regression [17.158289775348063]
  カーネル化されたテンソル回帰(BKTR)は、低ランクの時間構造を持つモデリングプロセスに対する新しいスケーラブルなアプローチと考えられる。 そこで本研究では,BKTRのモデル推定と推定において,BKTRの優れた性能と効率性を確認した。
  論文  参考訳（メタデータ） (2021-08-31T19:22:23Z)
• Variational Inference with NoFAS: Normalizing Flow with Adaptive Surrogate for Computationally Expensive Models [7.217783736464403]
  マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。 変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。 本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
  論文  参考訳（メタデータ） (2021-08-28T14:31:45Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。