論文の概要: mil-benchmarks: Standardized Evaluation of Deep Multiple-Instance
Learning Techniques
- arxiv url: http://arxiv.org/abs/2105.01443v1
- Date: Tue, 4 May 2021 12:09:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-05 12:51:52.261647
- Title: mil-benchmarks: Standardized Evaluation of Deep Multiple-Instance
Learning Techniques
- Title(参考訳): ミルベンチマーク:深層多インスタンス学習技術の標準化評価
- Authors: Daniel Grahn
- Abstract要約: マルチインスタンス学習は、ラベルがインスタンス自体ではなくインスタンスの集合に適用される弱い教師付き学習のサブセットである。
本稿では,MNIST,Fashion-MNIST,CIFAR10から生成されるマルチインスタンス学習ベンチマークを紹介する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multiple-instance learning is a subset of weakly supervised learning where
labels are applied to sets of instances rather than the instances themselves.
Under the standard assumption, a set is positive only there is if at least one
instance in the set which is positive.
This paper introduces a series of multiple-instance learning benchmarks
generated from MNIST, Fashion-MNIST, and CIFAR10. These benchmarks test the
standard, presence, absence, and complex assumptions and provide a framework
for future benchmarks to be distributed. I implement and evaluate several
multiple-instance learning techniques against the benchmarks. Further, I
evaluate the Noisy-And method with label noise and find mixed results with
different datasets. The models are implemented in TensorFlow 2.4.1 and are
available on GitHub. The benchmarks are available from PyPi as mil-benchmarks
and on GitHub.
- Abstract(参考訳): マルチインスタンス学習は、ラベルがインスタンス自体ではなくインスタンスの集合に適用される弱い教師付き学習のサブセットである。
標準仮定では、集合が正であることは、集合の少なくとも1つのインスタンスが正であることのみである。
本稿では,MNIST,Fashion-MNIST,CIFAR10から生成されるマルチインスタンス学習ベンチマークを紹介する。
これらのベンチマークは標準、存在、不在、複雑な仮定をテストし、将来のベンチマークを分散するためのフレームワークを提供する。
ベンチマークに対して複数のマルチインスタンス学習手法を実装し,評価する。
さらに,ラベルノイズを用いたNoisy-And法を評価し,異なるデータセットによる混合結果を求める。
モデルはtensorflow 2.4.1で実装され、githubで入手できる。
ベンチマークはpypiからmil-benchmarksとgithubで入手できる。
関連論文リスト
- SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot
Neural Sparse Retrieval [92.27387459751309]
ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。
我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。
SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
論文 参考訳(メタデータ) (2023-07-19T22:48:02Z) - Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。
知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。
このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
論文 参考訳(メタデータ) (2023-05-23T07:54:37Z) - Accounting for multiplicity in machine learning benchmark performance [0.0]
最先端のパフォーマンスをSOTA(State-of-the-art)のパフォーマンスの見積として使うのはバイアスのある推定器であり、過度に楽観的な結果をもたらす。
本稿では、複数の分類器の場合の確率分布について、既知の解析手法を適用できるようにし、より優れたSOTA推定値を提供する。
論文 参考訳(メタデータ) (2023-03-10T10:32:18Z) - Label-Noise Learning with Intrinsically Long-Tailed Data [65.41318436799993]
本稿では,本質的な長期データを用いたラベルノイズ学習のための学習フレームワークを提案する。
具体的には, 2段階の2次元試料選択法(TABASCO)を提案する。
論文 参考訳(メタデータ) (2022-08-21T07:47:05Z) - CLUES: Few-Shot Learning Evaluation in Natural Language Understanding [81.63968985419982]
我々は,NLUモデルの少数ショット学習能力を評価するためのベンチマークであるCLUESを紹介する。
近年のモデルでは,大量のラベル付きデータにアクセスすると人的パフォーマンスが向上するが,ほとんどのタスクにおいて数ショット設定では,パフォーマンスに大きなギャップが生じることが実証された。
論文 参考訳(メタデータ) (2021-11-04T00:43:15Z) - WRENCH: A Comprehensive Benchmark for Weak Supervision [66.82046201714766]
ベンチマークは、分類とシーケンスタグ付けのための22の異なる実世界のデータセットで構成されている。
ベンチマークプラットフォームとしての有効性を示すために、100以上のメソッドの変種に対して広範な比較を行うためにベンチマークを使用します。
論文 参考訳(メタデータ) (2021-09-23T13:47:16Z) - Decoding machine learning benchmarks [0.0]
アイテム応答理論(IRT)は、優れた機械学習ベンチマークとなるべきものを解明するための新しいアプローチとして登場した。
IRTは、よく知られたOpenML-CC18ベンチマークを探索し、分類器の評価にどの程度適しているかを特定した。
論文 参考訳(メタデータ) (2020-07-29T14:39:41Z) - Frustratingly Simple Few-Shot Object Detection [98.42824677627581]
希少なクラスにおける既存検出器の最後の層のみを微調整することは、数発の物体検出タスクに不可欠である。
このような単純なアプローチは、現在のベンチマークで約220ポイントのメタ学習方法より優れている。
論文 参考訳(メタデータ) (2020-03-16T00:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。