論文の概要: What You See is (Usually) What You Get: Multimodal Prototype Networks that Abstain from Expensive Modalities

• arxiv url: http://arxiv.org/abs/2511.19752v1
• Date: Mon, 24 Nov 2025 22:17:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.189327
• Title: What You See is (Usually) What You Get: Multimodal Prototype Networks that Abstain from Expensive Modalities
• Title（参考訳）: 高価なモダリティから守られるマルチモーダル・プロトタイプ・ネットワーク(動画あり)
• Authors: Muchang Bahng, Charlie Berens, Jon Donnelly, Eric Chen, Chaofan Chen, Cynthia Rudin,
• Abstract要約: マルチモーダルニューラルネットワークは、このタスクを自動化するために種を特定するために利用が増えている。 まず、ブラックボックスの性質は意思決定プロセスの解釈可能性を妨げる。 第二に、遺伝データの収集は高価であり、しばしば侵襲的な手順を必要とする。 従来のニューラルネットワークの代替として人気があり、解釈可能なプロトタイプネットワーク(ProtoPNet)を、マルチモーダルでコストを意識した設定に拡張することで、これらの問題を解決する。
• 参考スコア（独自算出の注目度）: 30.3982695067087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Species detection is important for monitoring the health of ecosystems and identifying invasive species, serving a crucial role in guiding conservation efforts. Multimodal neural networks have seen increasing use for identifying species to help automate this task, but they have two major drawbacks. First, their black-box nature prevents the interpretability of their decision making process. Second, collecting genetic data is often expensive and requires invasive procedures, often necessitating researchers to capture or kill the target specimen. We address both of these problems by extending prototype networks (ProtoPNets), which are a popular and interpretable alternative to traditional neural networks, to the multimodal, cost-aware setting. We ensemble prototypes from each modality, using an associated weight to determine how much a given prediction relies on each modality. We further introduce methods to identify cases for which we do not need the expensive genetic information to make confident predictions. We demonstrate that our approach can intelligently allocate expensive genetic data for fine-grained distinctions while using abundant image data for clearer visual classifications and achieving comparable accuracy to models that consistently use both modalities.
• Abstract（参考訳）: 種検出は生態系の健康をモニタリングし、外来種を特定するために重要であり、保全活動の指導において重要な役割を担っている。 マルチモーダルニューラルネットワークは、このタスクを自動化するために種を特定するために利用が増えているが、2つの大きな欠点がある。 第一に、ブラックボックスの性質は意思決定プロセスの解釈可能性を妨げる。 第二に、遺伝データの収集は高価であり、しばしば侵襲的な手順を必要とする。 従来のニューラルネットワークの代替として人気があり、解釈可能なプロトタイプネットワーク(ProtoPNet)を、マルチモーダルでコストを意識した設定に拡張することで、これらの問題を解決する。 それぞれのモダリティからプロトタイプをアンサンブルし、関連する重みを使って、与えられた予測が各モダリティに依存するかを決定する。 さらに、信頼性の高い予測を行うために、高価な遺伝情報を必要としないケースを特定する方法についても紹介する。 提案手法は,画像データを用いてより鮮明な視覚分類を行い,両モードを連続的に使用するモデルに匹敵する精度を達成しつつ,高コストな遺伝的データを微細な区別のためにインテリジェントに割り当てることが実証された。

関連論文リスト

• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [81.93945602120453]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• Deception Detection from Linguistic and Physiological Data Streams Using Bimodal Convolutional Neural Networks [19.639533220155965]
  本稿では,畳み込み型ニューラルネットワークのマルチモーダルな騙し検出への応用について検討する。 2つのトピックについて104人の被験者にインタビューして構築したデータセットを使用します。
  論文  参考訳（メタデータ） (2023-11-18T02:44:33Z)
• Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization [59.5104563755095]
  本稿では,医用画像分類分野におけるディープニューラルネットワークの一般化能力向上のための,シンプルだが効果的なアプローチを提案する。 医用画像の領域変数がある程度コンパクトであることに感銘を受けて,変分符号化による代表的特徴空間の学習を提案する。
  論文  参考訳（メタデータ） (2020-09-27T12:30:30Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• M2Net: Multi-modal Multi-channel Network for Overall Survival Time Prediction of Brain Tumor Patients [151.4352001822956]
  生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。 既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。 我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-01T05:21:37Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。