論文の概要: Evaluating K-Fold Cross Validation for Transformer Based Symbolic Regression Models

• arxiv url: http://arxiv.org/abs/2410.21896v1
• Date: Tue, 29 Oct 2024 09:39:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:42:18.548759
• Title: Evaluating K-Fold Cross Validation for Transformer Based Symbolic Regression Models
• Title（参考訳）: 変圧器を用いたシンボリック回帰モデルに対するK-Foldクロスバリデーションの評価
• Authors: Kaustubh Kislay, Shlok Singh, Soham Joshi, Rohan Dutta, Jay Shim George Flint, Kevin Zhu,
• Abstract要約: トランスフォーマーモデルはシンボリック回帰において有望であるが、パフォーマンスはより小さなデータセットに悩まされている。 我々は, 大幅に削減されたデータセットに基づいて訓練された変圧器に基づく記号回帰モデルに対して, k-foldクロスバリデーションを適用することを提案する。 その結果、このプロセスは、検証損失53.31%の相対的な改善により、モデルの出力整合性と一般化を改善することが示された。
• 参考スコア（独自算出の注目度）: 1.566834021297545
• License:
• Abstract: Symbolic Regression remains an NP-Hard problem, with extensive research focusing on AI models for this task. Transformer models have shown promise in Symbolic Regression, but performance suffers with smaller datasets. We propose applying k-fold cross-validation to a transformer-based symbolic regression model trained on a significantly reduced dataset (15,000 data points, down from 500,000). This technique partitions the training data into multiple subsets (folds), iteratively training on some while validating on others. Our aim is to provide an estimate of model generalization and mitigate overfitting issues associated with smaller datasets. Results show that this process improves the model's output consistency and generalization by a relative improvement in validation loss of 53.31%. Potentially enabling more efficient and accessible symbolic regression in resource-constrained environments.
• Abstract（参考訳）: シンボリック回帰は現在でもNP-Hard問題であり、このタスクのためのAIモデルに焦点を絞った広範な研究が行われている。 トランスフォーマーモデルはシンボリック回帰において有望であるが、パフォーマンスはより小さなデータセットに悩まされている。 我々は,大幅に削減されたデータセット(50,000から15,000のデータポイント)でトレーニングされたトランスフォーマーに基づくシンボル回帰モデルに,k-foldクロスバリデーションを適用することを提案する。 このテクニックは、トレーニングデータを複数のサブセット(フォルダ)に分割し、他の部分で検証しながら反復的にトレーニングする。 我々の目標は、モデル一般化の見積もりを提供し、より小さなデータセットに関連する問題を緩和することである。 その結果、このプロセスは、検証損失53.31%の相対的な改善により、モデルの出力整合性と一般化を改善することが示された。 リソース制約のある環境で、より効率的でアクセスしやすいシンボリックレグレッションを可能にする可能性がある。

関連論文リスト

• Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
  本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。 本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-29T04:15:58Z)
• ZeroShape: Regression-based Zero-shot Shape Reconstruction [56.652766763775226]
  単一画像ゼロショット3次元形状再構成の問題点について検討する。 最近の研究は、3Dアセットの生成的モデリングを通してゼロショット形状復元を学習している。 我々はZeroShapeが最先端の手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-12-21T01:56:34Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• TRIAGE: Characterizing and auditing training data for improved regression [80.11415390605215]
  TRIAGEは回帰タスクに適した新しいデータキャラクタリゼーションフレームワークで、広範囲の回帰器と互換性がある。 TRIAGEは、共形予測分布を利用して、モデルに依存しないスコアリング方法、TRIAGEスコアを提供する。 TRIAGEの特徴は一貫性があり、複数の回帰設定においてデータの彫刻/フィルタリングによるパフォーマンス向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-29T10:31:59Z)
• Regression Transformer: Concurrent Conditional Generation and Regression by Blending Numerical and Textual Tokens [3.421506449201873]
  Regression Transformer (RT)は、数値トークンのシーケンスとして連続プロパティをキャストし、それらを従来のトークンと共同でエンコードする。 我々はXLNetの目的に対するいくつかの拡張を提案し、プロパティ予測と条件テキスト生成を同時に最適化する交互トレーニングスキームを採用する。 このことは、特にプロパティ駆動で、化学またはタンパク質空間の局所的な探索に応用される。
  論文  参考訳（メタデータ） (2022-02-01T08:57:31Z)
• Variation-Incentive Loss Re-weighting for Regression Analysis on Biased Data [8.115323786541078]
  モデルトレーニング中のデータ歪/バイアスに対処することで回帰分析の精度を向上させることを目的としている。 回帰分析のための勾配降下モデルトレーニングを最適化するために,変分集中損失再重み付け法(VILoss)を提案する。
  論文  参考訳（メタデータ） (2021-09-14T10:22:21Z)
• SymbolicGPT: A Generative Transformer Model for Symbolic Regression [3.685455441300801]
  シンボル回帰のための新しいトランスフォーマーベース言語モデルであるSybolicGPTを提案する。 本モデルでは,精度,実行時間,データ効率に関して,競合モデルと比較して高い性能を示す。
  論文  参考訳（メタデータ） (2021-06-27T03:26:35Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
  本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。 ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。 シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
  論文  参考訳（メタデータ） (2020-11-30T21:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。