論文の概要: Complexity-Aware Deep Symbolic Regression with Robust Risk-Seeking Policy Gradients

• arxiv url: http://arxiv.org/abs/2406.06751v2
• Date: Fri, 30 May 2025 16:19:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.411516
• Title: Complexity-Aware Deep Symbolic Regression with Robust Risk-Seeking Policy Gradients
• Title（参考訳）: 複雑度を考慮したロバストリスク探索政策勾配による深部シンボリック回帰
• Authors: Zachary Bastiani, Robert M. Kirby, Jacob Hochhalter, Shandian Zhe,
• Abstract要約: 本稿では,データ駆動型数式発見の堅牢性と解釈可能性を高めるために,新しい記号回帰手法を提案する。 我々の研究は、データ固有の式生成器の学習に焦点を当てた、一般的なDSRフレームワークと一致しています。
• 参考スコア（独自算出の注目度）: 20.941908494137806
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose a novel deep symbolic regression approach to enhance the robustness and interpretability of data-driven mathematical expression discovery. Our work is aligned with the popular DSR framework which focuses on learning a data-specific expression generator, without relying on pretrained models or additional search or planning procedures. Despite the success of existing DSR methods, they are built on recurrent neural networks, solely guided by data fitness, and potentially meet tail barriers that can zero out the policy gradient, causing inefficient model updates. To overcome these limitations, we design a decoder-only architecture that performs attention in the frequency domain and introduce a dual-indexed position encoding to conduct layer-wise generation. Second, we propose a Bayesian information criterion (BIC)-based reward function that can automatically adjust the trade-off between expression complexity and data fitness, without the need for explicit manual tuning. Third, we develop a ranking-based weighted policy update method that eliminates the tail barriers and enhances training effectiveness. Extensive benchmarks and systematic experiments demonstrate the advantages of our approach.
• Abstract（参考訳）: 本稿では,データ駆動型数式発見の堅牢性と解釈可能性を高めるために,新しい記号回帰手法を提案する。 我々の研究は、事前訓練されたモデルや追加の検索や計画手順に頼ることなく、データ固有の表現生成器の学習に焦点を当てた、一般的なDSRフレームワークと一致しています。 既存のDSRメソッドの成功にもかかわらず、これらはリカレントニューラルネットワーク上に構築されており、データ適合性だけでガイドされており、ポリシーの勾配をゼロにできるテールバリアに到達し、非効率なモデル更新を引き起こす可能性がある。 これらの制限を克服するために、周波数領域に注意を向けるデコーダのみのアーキテクチャを設計し、レイヤワイズ生成を行うために二重インデックス位置符号化を導入する。 第2に,表現複雑性とデータ適合性のトレードオフを自動的に調整できるベイズ情報基準(BIC)に基づく報酬関数を提案する。 第3に、テールバリアを排除し、トレーニングの有効性を高めるランキングベースの重み付けポリシー更新手法を開発する。 大規模なベンチマークと体系的な実験は、我々のアプローチの利点を実証する。

関連論文リスト

• Representation-based Reward Modeling for Efficient Safety Alignment of Large Language Model [84.00480999255628]
  大規模言語モデル(LLM)の安全性アライメントのための強化学習アルゴリズムは,分散シフトの課題に直面している。 現在のアプローチでは、ターゲットポリシーからのオンラインサンプリングを通じてこの問題に対処するのが一般的である。 モデル固有の安全判断能力を活用して報酬信号を抽出する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-13T06:40:34Z)
• Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems [89.35169042718739]
  協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。 近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。 この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。 そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-01T07:15:21Z)
• RieszBoost: Gradient Boosting for Riesz Regression [49.737777802061984]
  本稿では,Riesz表現子を直接推定するために,その明示的な解析形式を必要とせず,新たな勾配向上アルゴリズムを提案する。 提案アルゴリズムは,様々な関数を対象とした間接推定手法と同等以上の性能を示す。
  論文  参考訳（メタデータ） (2025-01-08T23:04:32Z)
• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
  IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。 我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。 不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-03T17:39:38Z)
• Regularization for Adversarial Robust Learning [18.46110328123008]
  我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。 この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。 本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-19T03:15:41Z)
• Improving Data-aware and Parameter-aware Robustness for Continual Learning [3.480626767752489]
  本報告では, オフラヤの非効率な取扱いから, この不整合が生じることを解析する。 本稿では,ロバスト連続学習(RCL)手法を提案する。 提案手法は, 堅牢性を効果的に維持し, 新たなSOTA(State-of-the-art)結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T11:21:26Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• A Conditioned Unsupervised Regression Framework Attuned to the Dynamic Nature of Data Streams [0.0]
  本稿では,制限付きラベル付きデータを用いたストリーミング環境の最適戦略を提案し,教師なし回帰のための適応手法を提案する。 提案手法は,初期ラベルのスパースセットを活用し,革新的なドリフト検出機構を導入する。 適応性を高めるために,Adaptive WINdowingアルゴリズムとRoot Mean Square Error (RMSE)に基づく誤り一般化アルゴリズムを統合する。
  論文  参考訳（メタデータ） (2023-12-12T19:23:54Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• A Bayesian Robust Regression Method for Corrupted Data Reconstruction [5.298637115178182]
  我々は適応的敵攻撃に抵抗できる効果的なロバスト回帰法を開発した。 まず TRIP (hard Thresholding approach to Robust regression with sImple Prior) アルゴリズムを提案する。 次に、より堅牢なBRHT (robust Bayesian Reweighting regression via Hard Thresholding) アルゴリズムを構築するためにベイズ再重み付け(Bayesian reweighting)というアイデアを用いる。
  論文  参考訳（メタデータ） (2022-12-24T17:25:53Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)
• Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning [70.01650994156797]
  教育医療などのバッチ強化学習において、観察データからのシーケンシャルな意思決定方針のオフ・アセスメントが必要である。 我々は、ある政策の境界を推定するアプローチを開発する。 より凝縮したデータを集めることで、シャープな境界への収束を証明します。
  論文  参考訳（メタデータ） (2020-02-11T16:18:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。