論文の概要: Beyond Least Squares: Robust Regression Transformer (R2T)

• arxiv url: http://arxiv.org/abs/2508.02874v1
• Date: Mon, 04 Aug 2025 20:03:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.669641
• Title: Beyond Least Squares: Robust Regression Transformer (R2T)
• Title（参考訳）: Beyond Least Squares: Robust Regression Transformer (R2T)
• Authors: Roman Gutierrez, Tony Kai Tang, Isabel Gutierrez,
• Abstract要約: 本稿では,変換器エンコーダが数値列を処理し,圧縮NNがシンボルパラメータを予測し,固定されたシンボル方程式が元のシーケンスを再構成するハイブリッド型ニューラルシンボリックアーキテクチャを提案する。 学習目的は、合成データを用いて、非対称な構造雑音を加えて元の配列を復元し、ニューラルネットワークのパラメータ推定によって導かれる記号的フィットを効果的に学習することである。 合成ウェアラブルデータに対する6e-6から3.5e-5の中央値回帰MSEは,ハマーロスやソフトL1のような最小二乗法やロバスト回帰技術と比較して10～300倍改善されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust regression techniques rely on least-squares optimization, which works well for Gaussian noise but fails in the presence of asymmetric structured noise. We propose a hybrid neural-symbolic architecture where a transformer encoder processes numerical sequences, a compression NN predicts symbolic parameters, and a fixed symbolic equation reconstructs the original sequence. Using synthetic data, the training objective is to recover the original sequence after adding asymmetric structured noise, effectively learning a symbolic fit guided by neural parameter estimation. Our model achieves a median regression MSE of 6e-6 to 3.5e-5 on synthetic wearable data, which is a 10-300 times improvement when compared with ordinary least squares fit and robust regression techniques such as Huber loss or SoftL1.
• Abstract（参考訳）: ロバスト回帰手法は最小二乗最適化に依存しており、ガウス雑音に対してうまく機能するが、非対称構造ノイズの存在下では失敗する。 本稿では,変換器エンコーダが数値列を処理し,圧縮NNがシンボルパラメータを予測し,固定されたシンボル方程式が元のシーケンスを再構成するハイブリッド型ニューラルシンボリックアーキテクチャを提案する。 学習目的は、合成データを用いて、非対称な構造雑音を加えて元の配列を復元し、ニューラルネットワークのパラメータ推定によって導かれる記号的フィットを効果的に学習することである。 合成ウェアラブルデータに対する6e-6から3.5e-5の中央値回帰MSEは,ハマーロスやソフトL1のような最小二乗法やロバスト回帰技術と比較して10～300倍改善されている。

関連論文リスト

• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• End-to-End Implicit Neural Representations for Classification [57.55927378696826]
  Inlicit Neural representations (INRs) は、ニューラルネットワークパラメータの信号を符号化し、信号再構成に優れた結果を示す。 INRをベースとした分類は、CNNのようなピクセルベースの手法に比べて、依然としてかなり低性能である。 本研究は,SIRENを学習段階のスキームとともに初期化するエンド・ツー・エンドの戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-23T16:02:23Z)
• Meta-INR: Efficient Encoding of Volumetric Data via Meta-Learning Implicit Neural Representation [4.782024723712711]
  Inlicit Neural representation (INR)は、ボリュームデータを符号化するための有望なソリューションとして登場した。 メタ学習アルゴリズムを用いて,データセットの部分的な観察から初期INRパラメータを学習するための事前学習戦略であるMeta-INRを提案する。 我々は,Meta-INRが,様々なデータセットにまたがる類似ボリュームデータをエンコードする上で有効な,高品質な一般化可能な特徴を効果的に抽出できることを実証した。
  論文  参考訳（メタデータ） (2025-02-12T21:54:22Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Evaluating K-Fold Cross Validation for Transformer Based Symbolic Regression Models [1.4920158131334504]
  トランスフォーマーモデルはシンボリック回帰において有望であるが、パフォーマンスはより小さなデータセットに悩まされている。 我々は, 大幅に削減されたデータセットに基づいて訓練された変圧器に基づく記号回帰モデルに対して, k-foldクロスバリデーションを適用することを提案する。 その結果、このプロセスは、検証損失53.31%の相対的な改善により、モデルの出力整合性と一般化を改善することが示された。
  論文  参考訳（メタデータ） (2024-10-29T09:39:54Z)
• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• A randomized algorithm to solve reduced rank operator regression [27.513149895229837]
  本稿では,無限次元入力空間と出力空間を含むベクトル値回帰問題に対処するアルゴリズムを提案し,解析する。 このアルゴリズムは低ランクベクトル値関数を最適に学習する手法である低ランク回帰のランダム適応である。
  論文  参考訳（メタデータ） (2023-12-28T20:29:59Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Symplectically Integrated Symbolic Regression of Hamiltonian Dynamical Systems [11.39873640706974]
  シンプレクティック統合シンボリック回帰(SISR)は、データから物理支配方程式を学ぶための新しいテクニックである。 SISRは多層LSTM-RNNを用いて、確率的にハミルトン記号表現をサンプリングする。
  論文  参考訳（メタデータ） (2022-09-04T03:17:40Z)
• Neural Symbolic Regression that Scales [58.45115548924735]
  本稿では,大規模事前学習を利用した最初の記号回帰手法を提案する。 我々は,非有界な方程式の集合を手続き的に生成し,同時にインプット・アウトプット・ペアの集合からシンボル方程式を予測するためにトランスフォーマーを事前訓練する。
  論文  参考訳（メタデータ） (2021-06-11T14:35:22Z)
• Neural Network-based Reconstruction in Compressed Sensing MRI Without Fully-sampled Training Data [17.415937218905125]
  CS-MRIは、アンダーサンプリングされたMR画像の再構成を約束している。 ニューラルネットワークで繰り返しをアンロールすることで、古典的なテクニックの反復性をモデル化するディープラーニングモデルが開発されている。 本稿では,古典的最適化方式で広く用いられている損失関数を応用して,非学習型再構成ネットワークを教師なしで訓練するための新しい戦略について検討する。
  論文  参考訳（メタデータ） (2020-07-29T17:46:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。