論文の概要: Composite Quantile Regression With XGBoost Using the Novel Arctan Pinball Loss

• arxiv url: http://arxiv.org/abs/2406.02293v1
• Date: Tue, 4 Jun 2024 13:13:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 16:20:58.011791
• Title: Composite Quantile Regression With XGBoost Using the Novel Arctan Pinball Loss
• Title（参考訳）: 新しいアークタンピンボール損失を用いたXGBoostを用いた複合量子回帰
• Authors: Laurens Sluijterman, Frank Kreuwel, Eric Cator, Tom Heskes,
• Abstract要約: 量子回帰は、点推定だけでは不十分な条件付き量子状態を得るための一般的なアプローチである。 既存の回避策は典型的には非効率であり、深刻な量的交差をもたらす。 我々は,XGBoostのニーズに合わせて,ピンボール損失,アークタンピンボール損失のスムーズな近似を提示する。
• 参考スコア（独自算出の注目度）: 1.0446041735532203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores the use of XGBoost for composite quantile regression. XGBoost is a highly popular model renowned for its flexibility, efficiency, and capability to deal with missing data. The optimization uses a second order approximation of the loss function, complicating the use of loss functions with a zero or vanishing second derivative. Quantile regression -- a popular approach to obtain conditional quantiles when point estimates alone are insufficient -- unfortunately uses such a loss function, the pinball loss. Existing workarounds are typically inefficient and can result in severe quantile crossings. In this paper, we present a smooth approximation of the pinball loss, the arctan pinball loss, that is tailored to the needs of XGBoost. Specifically, contrary to other smooth approximations, the arctan pinball loss has a relatively large second derivative, which makes it more suitable to use in the second order approximation. Using this loss function enables the simultaneous prediction of multiple quantiles, which is more efficient and results in far fewer quantile crossings.
• Abstract（参考訳）: 本稿では,XGBoostを用いた複合量子レグレッションについて検討する。 XGBoostは、その柔軟性、効率、欠落したデータを扱う能力で有名な、非常に人気のあるモデルである。 この最適化は損失関数の2階近似を用いており、損失関数をゼロあるいは消滅する2階微分で用いることを複雑にしている。 量子回帰(quantile regression) - 点推定だけでは不十分な条件付き量子化を求める一般的なアプローチで、残念ながらそのような損失関数であるピンボール損失を使用する。 既存の回避策は典型的には非効率であり、深刻な量的交差をもたらす。 本稿では、XGBoostのニーズに合わせて、ピンボール損失、アークタンピンボール損失のスムーズな近似について述べる。 特に、他の滑らかな近似とは対照的に、アークタンのピンボール損失は比較的大きな第2微分を持ち、第2次近似ではより適している。 この損失関数を用いることで、複数の量子の同時予測が可能となり、より効率的になり、はるかに少ない量子交差が得られる。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• How to Boost Any Loss Function [63.573324901948716]
  損失関数はブースティングにより最適化可能であることを示す。 また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
  論文  参考訳（メタデータ） (2024-07-02T14:08:23Z)
• Distributed High-Dimensional Quantile Regression: Estimation Efficiency and Support Recovery [0.0]
  我々は高次元線形量子レグレッションのための分散推定とサポート回復に焦点をあてる。 元の量子レグレッションを最小二乗最適化に変換する。 効率的なアルゴリズムを開発し、高い計算と通信効率を享受する。
  論文  参考訳（メタデータ） (2024-05-13T08:32:22Z)
• A Robust Quantile Huber Loss With Interpretable Parameter Adjustment In Distributional Reinforcement Learning [19.89141873890568]
  本稿では、ワッサーシュタイン距離(WD)計算から導かれる一般化量子ハマー損失関数を提案する。 古典的な量子ハマー損失と比較して、この革新的な損失関数は外れ値に対する堅牢性を高める。 分散RLの一般的な応用であるアタリゲームに対する実証実験と、分布RLを用いた最近のヘッジ戦略により、提案した損失関数を検証した。
  論文  参考訳（メタデータ） (2024-01-04T15:51:49Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
  本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。 これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。 これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
  論文  参考訳（メタデータ） (2023-04-14T17:58:23Z)
• Outlier Suppression: Pushing the Limit of Low-bit Transformer Language Models [57.933500846742234]
  最近の研究は、構造化された外れ値が量子化性能の重要なボトルネックであることを認識している。 本稿では,Gamma Migration と Token-Wise Clipping の2つのコンポーネントを含む外部抑制フレームワークを提案する。 このフレームワークは、アウトレイラを効果的に抑制し、プラグアンドプレイモードで使用することができる。
  論文  参考訳（メタデータ） (2022-09-27T12:05:59Z)
• Truncated phase-based quantum arithmetic: error propagation and resource reduction [0.0]
  我々はドレイパー量子フーリエ加算器を改良し、小角回転を高粗いレベルに除去する。 継承された忠実さの損失は、サブルーチン内の搬送ビットと借入ビットの比率によって直接与えられることを示す。 意外なことに、707ドルの量子フーリエ変換はそれぞれ$pi/64$に切り詰められ、加法回転はわずかに微妙にしか残っていない。
  論文  参考訳（メタデータ） (2021-10-01T05:19:03Z)
• Generalized XGBoost Method [0.0]
  XGBoost法には利点があり、特に統計解析のビッグデータに適している。 本稿では,より弱い一般化損失関数を必要とする一般応用を提案する。 関連するアルゴリズムと、非生命保険のいくつかの例が与えられる。
  論文  参考訳（メタデータ） (2021-09-15T01:52:14Z)
• Universal Online Convex Optimization Meets Second-order Bounds [74.0120666722487]
  ユニバーサルオンライン凸最適化のための簡単な戦略を提案する。 主要なアイデアは、オリジナルのオンライン機能を処理するための専門家のセットを構築し、線形化された損失に対してメタアルゴリズムをデプロイすることである。 このようにして、私たちはブラックボックスの専門家として、既成のオンライン問題解決者をプラグインして、問題依存の後悔の限界を提供することができます。
  論文  参考訳（メタデータ） (2021-05-08T11:43:49Z)
• Scaling the Convex Barrier with Sparse Dual Algorithms [141.4085318878354]
  本稿では,ニューラルネットワークバウンダリングのための2つの新しい2重アルゴリズムを提案する。 どちらの方法も新しい緩和の強さを回復する: 厳密さと線形分離オラクル。 実行時間のほんの一部で、既製のソルバよりも優れた境界を得ることができます。
  論文  参考訳（メタデータ） (2021-01-14T19:45:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。