論文の概要: Distributionally Robust Multi-Output Regression Ranking

• arxiv url: http://arxiv.org/abs/2109.12803v1
• Date: Mon, 27 Sep 2021 05:19:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 15:23:42.266902
• Title: Distributionally Robust Multi-Output Regression Ranking
• Title（参考訳）: 分散ロバスト多出力回帰ランキング
• Authors: Shahabeddin Sotudian, Ruidi Chen, Ioannis Paschalidis
• Abstract要約: DRMRR(Distributedally Robust Multi-output Regression Ranking)と呼ばれるリストワイズ学習ランクモデルを導入する。 DRMRRは分散ロバスト最適化フレームワークを使用して、経験的データ分布の近傍で最も有害な分布の下でのマルチ出力損失関数を最小化する。 本実験は,医用文書検索と薬物反応予測の2つの実世界の応用について行った。
• 参考スコア（独自算出の注目度）: 3.9318191265352196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their empirical success, most existing listwiselearning-to-rank (LTR) models are not built to be robust to errors in labeling or annotation, distributional data shift, or adversarial data perturbations. To fill this gap, we introduce a new listwise LTR model called Distributionally Robust Multi-output Regression Ranking (DRMRR). Different from existing methods, the scoring function of DRMRR was designed as a multivariate mapping from a feature vector to a vector of deviation scores, which captures local context information and cross-document interactions. DRMRR uses a Distributionally Robust Optimization (DRO) framework to minimize a multi-output loss function under the most adverse distributions in the neighborhood of the empirical data distribution defined by a Wasserstein ball. We show that this is equivalent to a regularized regression problem with a matrix norm regularizer. Our experiments were conducted on two real-world applications, medical document retrieval, and drug response prediction, showing that DRMRR notably outperforms state-of-the-art LTR models. We also conducted a comprehensive analysis to assess the resilience of DRMRR against various types of noise: Gaussian noise, adversarial perturbations, and label poisoning. We show that DRMRR is not only able to achieve significantly better performance than other baselines, but it can maintain a relatively stable performance as more noise is added to the data.
• Abstract（参考訳）: 経験的な成功にもかかわらず、既存のリストワイズラーニング・トゥ・ランク(LTR)モデルは、ラベル付けやアノテーション、分散データシフト、あるいは逆データ摂動のエラーに対して堅牢であるように構築されていない。 このギャップを埋めるために、分布ロバスト多出力回帰ランキング (DRMRR) と呼ばれる新しいリストワイズLTRモデルを導入する。 既存の方法とは異なり、DRMRRのスコアリング機能は特徴ベクトルから偏差スコアのベクトルへの多変量マッピングとして設計され、ローカルコンテキスト情報と文書間相互作用をキャプチャする。 DRMRRは分散ロバスト最適化(DRO)フレームワークを使用して、ワッサースタイン球で定義された経験データ分布の近傍で最も有害な分布の下で、多出力損失関数を最小化する。 行列ノルム正規化器を用いた正則化回帰問題と等価であることを示す。 本実験は,医用文書検索と薬物反応予測の2つの実世界の応用で実施し,DRMRRが最先端のLTRモデルより優れていることを示した。 また, ガウス騒音, 逆摂動, ラベル中毒など様々な騒音に対するdrmrrの弾力性を評価するため, 総合的な分析を行った。 以上の結果から,drmrrは他のベースラインよりもかなり優れた性能が得られるだけでなく,データにノイズが多ければ比較的安定した性能を維持できることを示した。

関連論文リスト

• DiffATR: Diffusion-based Generative Modeling for Audio-Text Retrieval [49.076590578101985]
  ノイズから関節分布を生成する拡散型ATRフレームワーク(DiffATR)を提案する。 優れたパフォーマンスを持つAudioCapsとClothoデータセットの実験は、我々のアプローチの有効性を検証する。
  論文  参考訳（メタデータ） (2024-09-16T06:33:26Z)
• Statistical Properties of Robust Satisficing [5.0139295307605325]
  Robust Satisficing(RS)モデルは、堅牢な最適化に対する新たなアプローチである。 本稿では,RSモデルの理論的特性を包括的に解析する。 実験の結果,RSモデルは小サンプル体制における基礎的経験的リスクを常に上回ることがわかった。
  論文  参考訳（メタデータ） (2024-05-30T19:57:28Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Federated Latent Class Regression for Hierarchical Data [5.110894308882439]
  フェデレートラーニング(FL)は、多くのエージェントがローカルに保存されたデータを開示することなく、グローバル機械学習モデルのトレーニングに参加することを可能にする。 本稿では,新しい確率モデルである階層潜在クラス回帰(HLCR)を提案し,フェデレートラーニング(FEDHLCR)への拡張を提案する。 我々の推論アルゴリズムはベイズ理論から派生したもので、強い収束保証と過剰適合性を提供する。実験結果から、FEDHLCRは非IIDデータセットにおいても高速収束を提供することが示された。
  論文  参考訳（メタデータ） (2022-06-22T00:33:04Z)
• On Continual Model Refinement in Out-of-Distribution Data Streams [64.62569873799096]
  現実世界の自然言語処理(NLP)モデルは、アウト・オブ・ディストリビューション(OOD)データストリームの予測エラーを修正するために、継続的に更新する必要がある。 既存の継続学習(CL)問題設定は、そのような現実的で複雑なシナリオをカバーできない。 連続モデル改良(CMR)と呼ばれる新しいCL問題定式化を提案する。
  論文  参考訳（メタデータ） (2022-05-04T11:54:44Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• RIFLE: Imputation and Robust Inference from Low Order Marginals [10.082738539201804]
  我々は,不備なデータの存在下での回帰と分類のための統計的推論フレームワークを開発する。 我々のフレームワークであるRIFLEは、基礎となるデータ分布の低次モーメントを対応する信頼区間で推定し、分布的に堅牢なモデルを学ぶ。 実験の結果,RIFLEは,欠落値の割合が高い場合や,データポイント数が比較的小さい場合には,他のベンチマークアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-09-01T23:17:30Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric [11.383869751239166]
  我々は多変量線形回帰(MLR)と多クラスロジスティック回帰(MLG)のための分布ロバスト最適化(DRO)の定式化を開発する。 我々は DRO の定式化を、正則化が係数行列のノルムである正規化学習問題に緩和する。 実験の結果, MLRは37%, MLGは100%, 予測誤差は37%改善した。
  論文  参考訳（メタデータ） (2020-06-10T22:16:50Z)
• Modal Regression based Structured Low-rank Matrix Recovery for Multi-view Learning [70.57193072829288]
  近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。 既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。 本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
  論文  参考訳（メタデータ） (2020-03-22T03:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。