論文の概要: Robust Linear Classification from Limited Training Data

• arxiv url: http://arxiv.org/abs/2110.01648v1
• Date: Mon, 4 Oct 2021 18:21:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 14:08:36.847490
• Title: Robust Linear Classification from Limited Training Data
• Title（参考訳）: 限定訓練データからのロバスト線形分類
• Authors: Deepayan Chakrabarti
• Abstract要約: 本稿では,ロス関数の大規模クラスに適用可能なアルゴリズムRoLinを提案する。 RoLinは、上位のプリンシパルコンポーネントからの信頼できる情報と堅牢な最適化を組み合わせることで、信頼できない部分空間から有用な情報を抽出する。 実世界のデータセット25ドルと3つの標準損失関数の実験は、RoLinが次元の縮小と正規化の両方に大きく勝っていることを示している。
• 参考スコア（独自算出の注目度）: 3.7565501074323224
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We consider the problem of linear classification under general loss functions in the limited-data setting. Overfitting is a common problem here. The standard approaches to prevent overfitting are dimensionality reduction and regularization. But dimensionality reduction loses information, while regularization requires the user to choose a norm, or a prior, or a distance metric. We propose an algorithm called RoLin that needs no user choice and applies to a large class of loss functions. RoLin combines reliable information from the top principal components with a robust optimization to extract any useful information from unreliable subspaces. It also includes a new robust cross-validation that is better than existing cross-validation methods in the limited-data setting. Experiments on $25$ real-world datasets and three standard loss functions show that RoLin broadly outperforms both dimensionality reduction and regularization. Dimensionality reduction has $14\%-40\%$ worse test loss on average as compared to RoLin. Against $L_1$ and $L_2$ regularization, RoLin can be up to 3x better for logistic loss and 12x better for squared hinge loss. The differences are greatest for small sample sizes, where RoLin achieves the best loss on 2x to 3x more datasets than any competing method. For some datasets, RoLin with $15$ training samples is better than the best norm-based regularization with $1500$ samples.
• Abstract（参考訳）: 制限データ設定における一般損失関数の下での線形分類の問題を考える。 オーバーフィッティングは一般的な問題です。 オーバーフィッティングを防ぐための標準的なアプローチは次元減少と正規化である。 しかし、次元の減少は情報を失う一方、正規化では、ユーザーはノルム、前者、距離メートル法を選択する必要がある。 ユーザ選択を必要とせず,多数の損失関数に適用可能なアルゴリズムRoLinを提案する。 RoLinは、主要なコンポーネントから信頼できる情報と堅牢な最適化を組み合わせて、信頼できない部分空間から有用な情報を抽出する。 また、リミテッドデータ設定で既存のクロスバリデーションメソッドよりも優れた、新しいロバストなクロスバリデーションも含まれている。 実世界のデータセット25ドルと3つの標準損失関数の実験は、RoLinが次元の縮小と正規化の両方に大きく勝っていることを示している。 次元の減少はRoLinと比較して平均して14\%-40\%$悪いテスト損失である。 l_1$と$l_2$正規化に対して、rolinはロジスティック損失の最大3倍、二乗ヒンジ損失の12倍も良い。 RoLinは競合するメソッドよりも2倍から3倍多くのデータセットで最大の損失を達成している。 一部のデータセットでは、15ドルのトレーニングサンプルを持つRoLinは、1500ドルのサンプルを持つ最高の標準ベースの正規化よりも優れている。

関連論文リスト

• Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。 我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。 大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
  論文  参考訳（メタデータ） (2024-06-21T18:06:30Z)
• Scalable 3D Registration via Truncated Entry-wise Absolute Residuals [65.04922801371363]
  3ドルの登録アプローチでは、1000万ドル(107ドル)以上のポイントペアを、99%以上のランダムなアウトレイアで処理することができる。 我々はこの手法をTEARと呼び、Trncated Entry-wise Absolute Residualsを演算するoutlier-robust損失を最小限にする。
  論文  参考訳（メタデータ） (2024-04-01T04:43:39Z)
• Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity [54.145730036889496]
  本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。 Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
  論文  参考訳（メタデータ） (2024-03-20T08:15:08Z)
• Asymptotic Characterisation of Robust Empirical Risk Minimisation Performance in the Presence of Outliers [18.455890316339595]
  我々は,次元$d$とデータ点数$n$が固定比$alpha=n/d$で分岐した場合,高次元の線形回帰について検討し,出力率を含むデータモデルについて検討する。 我々は、$ell$-regularized $ell$, $ell_$, Huber損失を用いて、経験的リスク最小化(ERM)のパフォーマンスの正確性を提供する。
  論文  参考訳（メタデータ） (2023-05-30T12:18:39Z)
• Revisiting Rotation Averaging: Uncertainties and Robust Losses [51.64986160468128]
  現在の手法の主な問題は、推定エピポーラを通して入力データと弱い結合しか持たない最小コスト関数である。 本稿では,点対応から回転平均化への不確実性を直接伝播させることにより,基礎となる雑音分布をモデル化することを提案する。
  論文  参考訳（メタデータ） (2023-03-09T11:51:20Z)
• Scale-free Unconstrained Online Learning for Curved Losses [1.5147172044848798]
  コンパレータのノルム$U$と勾配の最大ノルム$G$に同時に適応する可能性を検討する。 意外なことに、最近の研究では1ドル=Lipschitz損失の特定のケースにおいて、適応性に対するそのような価格が不要であることが示されている。
  論文  参考訳（メタデータ） (2022-02-11T14:10:35Z)
• Towards Minimax Optimal Best Arm Identification in Linear Bandits [95.22854522340938]
  固定予算設定における線形包帯における最適な腕識別の問題について検討する。 G-最適設計の特性を活用し、アーム割り当て規則に組み込むことにより、パラメータフリーなアルゴリズムを設計する。 OD-LinBAIの故障確率に関する理論的解析を行った。
  論文  参考訳（メタデータ） (2021-05-27T09:19:10Z)
• Localization, Convexity, and Star Aggregation [0.0]
  オフセットラデマッハ複体は、正方形損失に対する鋭く線形依存的な上界を示すことが示されている。 統計的設定では、オフセット境界は一定の均一な凸性を満たす任意の損失に一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-19T00:47:59Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Fractional ridge regression: a fast, interpretable reparameterization of ridge regression [0.0]
  リッジ回帰(RR)は、線形回帰における係数のL2-ノルムをペナライズする正規化手法である。 我々は、FRRを解くアルゴリズムと、Pythonのオープンソースソフトウェア実装を提供する。
  論文  参考訳（メタデータ） (2020-05-07T03:12:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。