論文の概要: Simpler Methods Work Better for L1 Penalized Logistic Models and Large Datasets

• arxiv url: http://arxiv.org/abs/2609.23995v1
• Date: Mon, 21 Sep 2026 01:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.040271
• Title: Simpler Methods Work Better for L1 Penalized Logistic Models and Large Datasets
• Title（参考訳）: L1ペナル化ロジスティックモデルと大規模データセットの簡易化
• Abstract要約: 文献からいくつかの「最先端」の解法を検証した。 現在、古い手法は一般的な用途でははるかに優れている。 サブグラディエントでLBFGSを使用する新しいシンプルなベースラインは、微調整で非常に効果的である。
• 参考スコア（独自算出の注目度）: 46.15867063787794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear models with an $L_1$-norm penalty remain state-of-the-art for high-dimensional ($d > 1,000,000$) tasks, offering a straightforward method for solving real-world industry problems. Despite their widespread use in industry and utility, many $L_1$ solvers are not effective for general use, are prohibitively slow, and are ineffective in parallelization. This makes them difficult to train in an MLOps pipeline on large industry-scale corpora. In this work, we test several proposed ``state-of-the-art'' solutions from the literature and find that older methods are currently far superior for general use. We also identify several recommendations for academics to perform research that avoids erroneously overconfident results, which can prevent the transition to production use. Equally surprising, we find that a new and simple baseline, using LBFGS on a sub-gradient, is highly effective with minor tweaks, despite being dismissed in the literature for theoretical non-convergence. In practice, we find it is an easier-to-support and easier-to-scale method for production use.
• Abstract（参考訳）: L_1$-normのペナルティを持つ線形モデルは、高次元($d > 1000,000ドル)タスクの最先端のままであり、現実世界の業界の問題を解決するための簡単な方法を提供する。 産業やユーティリティで広く使われているにもかかわらず、多くのL_1$ソルバは一般用途では有効ではなく、非常に遅く、並列化では有効ではない。 これにより、大規模な産業規模のコーパス上でのMLOpsパイプラインのトレーニングが困難になる。 そこで本研究では,文献から提案した「最先端」解のいくつかを検証し,従来の手法が一般用途においてはるかに優れていることを発見した。 また、過度に自信過剰な結果を避け、生産利用への移行を防止できる研究を行うことを学術関係者に推奨する。 同様に驚くべきことに、LBFGSをサブグレーディエントで使用する新しい単純なベースラインは、理論的非収束の文献で除外されているにもかかわらず、微調整で非常に効果的であることがわかった。 実運用では,サポートが容易で,スケールの容易な方法であることがわかった。

関連論文リスト

• Optimal Robust Recourse with $L^p$-Bounded Model Change [1.1151457846264181]
  データ分散や環境の変化を反映するために、しばしばモデルが更新される。 一般化線形モデルに対する最適ロバストなリコースを確実に計算する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-09-25T15:11:51Z)
• Enhancing Transformer-Based Rerankers with Synthetic Data and LLM-Based Supervision [0.13999481573773073]
  大きな言語モデル(LLM)は、その深いセマンティック理解と推論のために、再分類時に優れている。 微調整の小さなタスク固有のモデルは、より効率的な代替手段だが、通常は手動でラベル付けされたデータに頼っている。 本稿では,人間ラベルのクエリドキュメントペアの必要性を解消する新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-09-23T09:47:27Z)
• Optimal and Practical Batched Linear Bandit Algorithm [8.087699764574788]
  本稿では, 線形バンドイット問題(バッチ化線形バンドイット)について, 限定適応性の下で検討する。 我々は,腕の除去と正規化G-最適設計を統合した新しいバッチアルゴリズムBLAEを提案する。 BLAEは、全てのレジームにおける証明可能なミニマックス最適性と、バッチ化された線形帯域における実用上の優位性を組み合わせた最初のアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-11T09:29:28Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)
• FTP: A Fine-grained Token-wise Pruner for Large Language Models via Token Routing [17.01412432658081]
  大規模言語モデル(LLM)は、法則を拡張することによって、様々なタスクにおいて優れた性能を示す。 重要でないトークンを適応的に識別する学習可能なルータを提案する。 提案手法は,既存の刈り込み手法を超越して,最先端(SOTA)刈り込み結果を実現する。
  論文  参考訳（メタデータ） (2024-12-16T07:09:46Z)
• Optimising Calls to Large Language Models with Uncertainty-Based Two-Tier Selection [80.63946798650653]
  決定は、より優れた性能を持つ大型LCMを使うか、より少ないコストで使用するかに重点を置いている。 我々は,LLMの世代間不確実性のみを意思決定基準として,より単純な解を提案する。 実験の結果、この単純な解はコストと性能を最適にバランスさせ、27の試験装置中25の既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-03T14:38:59Z)
• Using Experience Classification for Training Non-Markovian Tasks [11.267797018727402]
  非マルコフ的タスクは、自律運転、金融取引、医療診断などの実践的な応用に頻繁に適用される。 時間論理学で表される非マルコフ報酬を実現するための新しいRL手法を提案する。
  論文  参考訳（メタデータ） (2023-10-18T03:00:59Z)
• Leaving the Nest: Going Beyond Local Loss Functions for Predict-Then-Optimize [57.22851616806617]
  本手法は,文献から得られた4つの領域において,最先端の成果が得られることを示す。 提案手法は, 局所性仮定が破られた場合, 既存手法よりも200%近く性能が向上する。
  論文  参考訳（メタデータ） (2023-05-26T11:17:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。