論文の概要: Evaluating LLP Methods: Challenges and Approaches

• arxiv url: http://arxiv.org/abs/2310.19065v1
• Date: Sun, 29 Oct 2023 16:45:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 14:38:38.512342
• Title: Evaluating LLP Methods: Challenges and Approaches
• Title（参考訳）: LLP手法の評価:課題とアプローチ
• Authors: Gabriel Franco, Giovanni Comarela, Mark Crovella
• Abstract要約: LLP(Learning from Label Proportions)は、多数の現実世界のアプリケーションにおいて確立された機械学習問題である。 異なる変種の要求を満たすデータセットを生成する手法を開発した。 モデル選択や評価手順を含むLLPアルゴリズムをベンチマークするためのガイドラインを開発する。
• 参考スコア（独自算出の注目度）: 9.269394037577177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from Label Proportions (LLP) is an established machine learning problem with numerous real-world applications. In this setting, data items are grouped into bags, and the goal is to learn individual item labels, knowing only the features of the data and the proportions of labels in each bag. Although LLP is a well-established problem, it has several unusual aspects that create challenges for benchmarking learning methods. Fundamental complications arise because of the existence of different LLP variants, i.e., dependence structures that can exist between items, labels, and bags. Accordingly, the first algorithmic challenge is the generation of variant-specific datasets capturing the diversity of dependence structures and bag characteristics. The second methodological challenge is model selection, i.e., hyperparameter tuning; due to the nature of LLP, model selection cannot easily use the standard machine learning paradigm. The final benchmarking challenge consists of properly evaluating LLP solution methods across various LLP variants. We note that there is very little consideration of these issues in prior work, and there are no general solutions for these challenges proposed to date. To address these challenges, we develop methods capable of generating LLP datasets meeting the requirements of different variants. We use these methods to generate a collection of datasets encompassing the spectrum of LLP problem characteristics, which can be used in future evaluation studies. Additionally, we develop guidelines for benchmarking LLP algorithms, including the model selection and evaluation steps. Finally, we illustrate the new methods and guidelines by performing an extensive benchmark of a set of well-known LLP algorithms. We show that choosing the best algorithm depends critically on the LLP variant and model selection method, demonstrating the need for our proposed approach.
• Abstract（参考訳）: LLP(Learning from Label Proportions)は、多数の現実世界のアプリケーションにおいて確立された機械学習問題である。 この設定では、データアイテムはバッグにグループ化され、目的は個々のアイテムラベルを学習し、各バッグ内のデータの特徴とラベルの割合だけを知ることである。 LLPは確立された問題であるが、いくつかの特異な側面があり、学習方法のベンチマークに挑戦する。 基本的な合併症は、異なるllp変異体、すなわちアイテム、ラベル、バッグの間に存在する依存構造の存在によって生じる。 したがって、第1のアルゴリズム的課題は、依存構造とバッグ特性の多様性を捉えた変種固有のデータセットの生成である。 第2の方法論的課題は、モデル選択、すなわちハイパーパラメータチューニングである。 最後のベンチマークチャレンジは、様々なllp変種にわたるllpソリューションメソッドを適切に評価することである。 これまでの作業ではこれらの問題についてはほとんど考慮されておらず、これらの課題に対する一般的な解決策は提案されていない。 これらの課題に対処するため、異なる変種要件を満たすLPPデータセットを生成する方法を開発した。 これらの手法を用いて,LLP問題特性のスペクトルを含むデータセットの収集を行い,今後の評価研究に利用することができる。 さらに,モデル選択や評価手順を含むLLPアルゴリズムのベンチマークのためのガイドラインを開発する。 最後に,よく知られたllpアルゴリズムの広範なベンチマークを行い,新しい手法とガイドラインを示す。 最適アルゴリズムの選択はLLP変種とモデル選択法に大きく依存していることを示し、提案手法の必要性を実証する。

関連論文リスト

• Actively Learning Combinatorial Optimization Using a Membership Oracle [10.834947136134463]
  会員オラクルを用いて未知の線形制約を用いて最適化問題を解くことを検討する。 意思決定者の目標は、オラクルの呼び出し数に関する予算の対象となる最善の解決策を見つけることである。 代用線形制約を学習し、活用することで問題を解決するために、古典的なフレームワークを適応させる。
  論文  参考訳（メタデータ） (2024-05-23T01:34:21Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Automatic Generation of Attention Rules For Containment of Machine Learning Model Errors [1.4987559345379062]
  我々は、観測を分離するために最適な規則を決定するためのいくつかのアルゴリズム(ストラテジー')を提案する。 特に,機能ベースのスライシングを利用する戦略は,人間の解釈可能で,モデル非依存であり,補足的な入力や知識を最小限に抑える必要がある。 戦略を評価するために、我々は、その性能、安定性、そして、目に見えないデータに対する一般化可能性など、様々な望ましい品質を測定するための指標を導入する。
  論文  参考訳（メタデータ） (2023-05-14T10:15:35Z)
• Plug and Play Active Learning for Object Detection [12.50247484568549]
  オブジェクト検出のためのPlug and Play Active Learning(PPAL)を導入する。 PPALは不確実性と多様性に基づくサンプリングフェーズを含む2段階の手法である。 我々は,MS-COCOおよびPascal VOCデータセット上で,異なる検出器アーキテクチャを用いてPPALをベンチマークした。
  論文  参考訳（メタデータ） (2022-11-21T16:13:23Z)
• A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing [68.37496795076203]
  非バランスなデータを扱うNLP研究者や実践者に対してガイダンスを提供する。 まず、制御および実世界のクラス不均衡の様々なタイプについて論じる。 サンプリング,データ拡張,損失関数の選択,ステージ学習,モデル設計に基づく手法を整理する。
  論文  参考訳（メタデータ） (2022-10-10T13:26:40Z)
• On the Evaluation of NLP-based Models for Software Engineering [0.8122270502556374]
  我々は,NLPに基づくSE問題モデルがどのように評価されているのかを研究者らにより検討する。 この結果から,これらのモデルの評価には一貫性があり,広く受け入れられているプロトコルが存在しないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-31T16:42:19Z)
• Solving Multistage Stochastic Linear Programming via Regularized Linear Decision Rules: An Application to Hydrothermal Dispatch Planning [77.34726150561087]
  AdaSO(Adaptive least absolute shrinkage and selection operator)に基づく線形決定規則(LDR)の新しい正規化手法を提案する。 実験により、MSLPを解くために古典的な非正規化LDRを使用する場合、過度に適合する脅威は無視できないことが示された。 LHDP問題に対しては、非正規化ベンチマークと比較して、提案したフレームワークの次の利点を強調した。
  論文  参考訳（メタデータ） (2021-10-07T02:36:14Z)
• On the Adversarial Robustness of LASSO Based Feature Selection [72.54211869067979]
  検討されたモデルでは、悪意のある敵がデータセット全体を観察し、レスポンス値やフィーチャーマトリックスを慎重に修正する。 両レベルの最適化問題として、敵の修正戦略を定式化する。 合成および実データを用いた数値的な例は,本手法が効率的かつ効果的であることを示している。
  論文  参考訳（メタデータ） (2020-10-20T05:51:26Z)
• Sparse Methods for Automatic Relevance Determination [0.0]
  まず、自動妥当性決定(ARD)について検討し、スパースモデルを実現するために、追加の正規化やしきい値設定の必要性を解析的に実証する。 次に、正規化ベースとしきい値ベースという2つの手法のクラスについて論じる。
  論文  参考訳（メタデータ） (2020-05-18T14:08:49Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。