論文の概要: Data-driven Knowledge Fusion for Deep Multi-instance Learning
- arxiv url: http://arxiv.org/abs/2304.11905v1
- Date: Mon, 24 Apr 2023 08:28:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 15:51:58.389106
- Title: Data-driven Knowledge Fusion for Deep Multi-instance Learning
- Title（参考訳）: 深層学習のためのデータ駆動型知識融合
- Authors: Yu-Xuan Zhang, Zhengchun Zhou, Xingxing He, Avik Ranjan Adhikary, and
Bapi Dutta
- Abstract要約: MIL(Multi-Instance Learning)は、複雑なデータ構造を含む実用アプリケーションにおいて広く応用されている技術である。
本稿では,DKMIL(Deep Multi-instance Learning)アルゴリズムのための新しいデータ駆動知識融合法を提案する。
- 参考スコア（独自算出の注目度）: 32.97135989645385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-instance learning (MIL) is a widely-applied technique in practical
applications that involve complex data structures. MIL can be broadly
categorized into two types: traditional methods and those based on deep
learning. These approaches have yielded significant results, especially with
regards to their problem-solving strategies and experimental validation,
providing valuable insights for researchers in the MIL field. However, a
considerable amount of knowledge is often trapped within the algorithm, leading
to subsequent MIL algorithms that solely rely on the model's data fitting to
predict unlabeled samples. This results in a significant loss of knowledge and
impedes the development of more intelligent models. In this paper, we propose a
novel data-driven knowledge fusion for deep multi-instance learning (DKMIL)
algorithm. DKMIL adopts a completely different idea from existing deep MIL
methods by analyzing the decision-making of key samples in the data set
(referred to as the data-driven) and using the knowledge fusion module designed
to extract valuable information from these samples to assist the model's
training. In other words, this module serves as a new interface between data
and the model, providing strong scalability and enabling the use of prior
knowledge from existing algorithms to enhance the learning ability of the
model. Furthermore, to adapt the downstream modules of the model to more
knowledge-enriched features extracted from the data-driven knowledge fusion
module, we propose a two-level attention module that gradually learns shallow-
and deep-level features of the samples to achieve more effective
classification. We will prove the scalability of the knowledge fusion module
while also verifying the efficacy of the proposed architecture by conducting
experiments on 38 data sets across 6 categories.
- Abstract（参考訳）: MIL(Multi-Instance Learning)は、複雑なデータ構造を含む実用アプリケーションにおいて広く応用されている技術である。
MILは、伝統的な手法とディープラーニングに基づく方法の2つのタイプに大別できる。
これらのアプローチは、特に問題解決戦略や実験的な検証に関して重要な結果をもたらし、MIL分野の研究者に貴重な洞察を与えている。
しかし、かなりの量の知識がアルゴリズムの中に閉じ込められ、その後のMILアルゴリズムは、ラベルのないサンプルを予測するために、モデルのデータにのみ依存する。
これにより、知識が大幅に失われ、よりインテリジェントなモデルの開発が妨げられる。
本稿では,DKMIL(Deep Multi-instance Learning)アルゴリズムのための新しいデータ駆動型知識融合を提案する。
DKMILは、データセット(データ駆動)におけるキーサンプルの決定を解析し、これらのサンプルから貴重な情報を抽出してモデルのトレーニングを支援するために設計された知識融合モジュールを使用することで、既存のディープMILメソッドとは全く異なる考え方を採用する。
言い換えれば、このモジュールはデータとモデルの間の新しいインターフェースとして機能し、強力なスケーラビリティを提供し、既存のアルゴリズムから事前知識を使用することでモデルの学習能力を高めることができる。
さらに,モデルの下流モジュールをデータ駆動型知識融合モジュールから抽出したより知識エンリッチな特徴に適応させるために,サンプルの浅層および深層の特徴を徐々に学習し,より効果的な分類を実現する2レベルアテンションモジュールを提案する。
6つのカテゴリにまたがる38のデータセットについて実験を行い,提案アーキテクチャの有効性を検証するとともに,知識融合モジュールのスケーラビリティを実証する。
関連論文リスト
- RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
近年,MLLM (Multimodal Large Language Models) が注目されている。
検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。
本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
論文 参考訳（メタデータ） (2024-10-18T03:45:19Z) - Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳（メタデータ） (2024-01-18T08:12:23Z) - Personalized Federated Learning with Contextual Modulation and
Meta-Learning [2.7716102039510564]
フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。
本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-23T08:18:22Z) - Enhancing Cross-Dataset Performance of Distracted Driving Detection With
Score-Softmax Classifier [7.302402275736439]
ディープニューラルネットワークは、車内ドライバのリアルタイム監視を可能にし、気晴らし、疲労、潜在的な危険のタイムリーな予測を容易にする。
最近の研究では、オーバーフィッティングによる信頼性の低いクロスデータセットのエンドツーエンドドライバの動作認識が明らかにされている。
Score-Softmax分類器を導入し、クラス間独立性とクラス内不確実性を高めることでこの問題に対処する。
論文 参考訳（メタデータ） (2023-10-08T15:28:01Z) - Reinforcement Learning Based Multi-modal Feature Fusion Network for
Novel Class Discovery [47.28191501836041]
本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。
また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。
我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
論文 参考訳（メタデータ） (2023-08-26T07:55:32Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳（メタデータ） (2023-03-13T16:00:31Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳（メタデータ） (2023-02-22T18:11:25Z) - Multiscale Laplacian Learning [3.24029503704305]
本稿では,機械学習タスクに対する2つの革新的なマルチスケールラプラシアン学習手法を提案する。
マルチカーネル多様体学習(MML)と呼ばれる最初のアプローチは、マルチカーネル情報と多様体学習を統合する。
2つ目のアプローチは、MBO (Multiscale MBO) 法と呼ばれ、有名な古典的なメリマン・バーンス=オッシャースキームの修正にマルチスケールのラプラシアンを導入している。
論文 参考訳（メタデータ） (2021-09-08T15:25:32Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳（メタデータ） (2020-12-15T16:29:49Z) - An unsupervised deep learning framework via integrated optimization of
representation learning and GMM-based modeling [31.334196673143257]
本稿では,ディープ表現とGMMに基づくディープモデリングの両面において,共同学習の新たな原則を提案する。
類似分野の既存の作業と比較すると、目的関数は2つの学習目標を持ち、共同で最適化されるように作成される。
クラスタ間距離を小さくすることでクラスタのコンパクト性を著しく向上し、クラスタ間距離を増大させることで分離性を向上させる。
論文 参考訳（メタデータ） (2020-09-11T04:57:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。