論文の概要: Penalizing Localized Dirichlet Energies in Low Rank Tensor Products

• arxiv url: http://arxiv.org/abs/2601.14173v1
• Date: Tue, 20 Jan 2026 17:25:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.430117
• Title: Penalizing Localized Dirichlet Energies in Low Rank Tensor Products
• Title（参考訳）: 低位テンソル製品における局所化ジリクレターエネルギーのペナル化
• Authors: Paris A. Karakasis, Nicholas D. Sidiropoulos,
• Abstract要約: 回帰タスクに対する低ランクテンソル生成B-スプライン(TPBS)モデルについて検討した。 我々は, TPBSモデルがディリクレエネルギーの閉形式表現を許容していることを示し, 指数的に小さなディリクレエネルギーでパーフェクトが可能であるシナリオを明らかにする。 訓練点を中心にした小さなハイパーキューブ上に定義された局所ディリクレエネルギーに基づく新しい正規化戦略を提案する。
• 参考スコア（独自算出の注目度）: 26.936899997676264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study low-rank tensor-product B-spline (TPBS) models for regression tasks and investigate Dirichlet energy as a measure of smoothness. We show that TPBS models admit a closed-form expression for the Dirichlet energy, and reveal scenarios where perfect interpolation is possible with exponentially small Dirichlet energy. This renders global Dirichlet energy-based regularization ineffective. To address this limitation, we propose a novel regularization strategy based on local Dirichlet energies defined on small hypercubes centered at the training points. Leveraging pretrained TPBS models, we also introduce two estimators for inference from incomplete samples. Comparative experiments with neural networks demonstrate that TPBS models outperform neural networks in the overfitting regime for most datasets, and maintain competitive performance otherwise. Overall, TPBS models exhibit greater robustness to overfitting and consistently benefit from regularization, while neural networks are more sensitive to overfitting and less effective in leveraging regularization.
• Abstract（参考訳）: 回帰作業のための低ランクテンソル生成B-スプライン(TPBS)モデルについて検討し,滑らかさの尺度としてディリクレエネルギーについて検討した。 我々は, TPBSモデルがディリクレエネルギーの閉形式表現を許容していることを示し, 指数的に小さなディリクレエネルギーで完全補間が可能となるシナリオを明らかにする。 これにより、グローバルディリクレエネルギーベースの正則化は有効ではない。 この制限に対処するために、トレーニングポイントを中心とした小さなハイパーキューブ上に定義された局所ディリクレエネルギーに基づく新しい正規化戦略を提案する。 事前訓練されたPBSモデルを利用して、不完全サンプルから推定する2つの推定器も導入する。 ニューラルネットワークによる比較実験では、TBBSモデルは、ほとんどのデータセットのオーバーフィットレシエーションにおいてニューラルネットワークよりも優れており、それ以外は競合性能を維持している。 全体として、PBSモデルは過剰適合に対する堅牢性が高く、規則化の恩恵を一貫して受けられる一方、ニューラルネットワークは過適合に敏感であり、正規化の活用にはあまり効果がない。

関連論文リスト

• Energy-Guided Flow Matching Enables Few-Step Conformer Generation and Ground-State Identification [45.52894539097255]
  本稿では,明示的な学習エネルギーモデルとフローマッチングを結合する統合フレームワークであるEnFlowを紹介する。 サンプリング中にエネルギー段階的な誘導を取り入れることで,低エネルギー領域への軌道を導出する。 さらに、学習したエネルギー関数は、生成したアンサンブルの効率的なエネルギーベースのランク付けを可能にし、正確な基底状態の同定を可能にする。
  論文  参考訳（メタデータ） (2025-12-27T14:00:22Z)
• Efficient Generative Modeling via Penalized Optimal Transport Network [1.8079016557290342]
  本稿では,Wartherally-penalized Wasserstein (MPW) 距離に基づく多目的深部生成モデルを提案する。 MPW距離を通じて、POTNetは、低次元の辺縁情報を利用して、関節分布の全体的アライメントを導出する。 我々は,MPW損失の一般化誤差に基づく非漸近的境界を導出し,POTNetで学習した生成分布の収束率を確立する。
  論文  参考訳（メタデータ） (2024-02-16T05:27:05Z)
• Evolutionary algorithms as an alternative to backpropagation for supervised training of Biophysical Neural Networks and Neural ODEs [12.357635939839696]
  本稿では,生物物理学に基づくニューラルネットワークの学習における「段階的推定」進化アルゴリズムの利用について検討する。 EAにはいくつかのアドバンテージがあり、直接BPよりも望ましいことが分かりました。 以上の結果から,生体物理学ニューロンはBP法の限界をテストする上で有用なベンチマークを提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-17T20:59:57Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• On Energy-Based Models with Overparametrized Shallow Neural Networks [44.74000986284978]
  エネルギーベースモデル(EBM)は、ジェネレーションモデリングの強力なフレームワークです。 この研究では、浅いニューラルネットワークに焦点を当てます。 我々は、いわゆる「アクティブ」体制で訓練されたモデルが、関連する「怠慢」またはカーネル体制に対して統計的に有利であることを示す。
  論文  参考訳（メタデータ） (2021-04-15T15:34:58Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)
• Energy-Based Reranking: Improving Neural Machine Translation Using Energy-Based Models [59.039592890187144]
  自己回帰型ニューラルネットワーク翻訳(NMT)における最大推定(MLE)とBLEUスコアなどのタスク尺度の相違について検討する。 MLEベースのトレーニングされたNMTから引き出されたサンプルは、所望の分布をサポートします。ビーム復号出力と比較して、BLEUスコアがはるかに高いサンプルがあります。 目的文の辺縁エネルギーモデルと、目的文の辺縁エネルギーモデルの両方を用いてアルゴリズムを改良する。
  論文  参考訳（メタデータ） (2020-09-20T02:50:52Z)
• Energy-Based Processes for Exchangeable Data [109.04978766553612]
  エネルギーベースモデルを交換可能なデータに拡張するために、エネルギーベースプロセス(EBP)を導入する。 EBPの鍵となる利点は、集合上のより柔軟な分布を、その濃度を制限することなく表現できることである。 本研究では,多種多様なタスクにおける最先端性能を実演する電子掲示板の効率的な訓練手順を開発する。
  論文  参考訳（メタデータ） (2020-03-17T04:26:02Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。