論文の概要: CAMO: A Class-Aware Minority-Optimized Ensemble for Robust Language Model Evaluation on Imbalanced Data

• arxiv url: http://arxiv.org/abs/2604.07583v2
• Date: Sat, 11 Apr 2026 19:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 14:47:45.709363
• Title: CAMO: A Class-Aware Minority-Optimized Ensemble for Robust Language Model Evaluation on Imbalanced Data
• Title（参考訳）: CAMO:不均衡データに基づくロバスト言語モデル評価のためのクラス対応マイノリティ最適化アンサンブル
• Authors: Mohamed Ehab, Ali Hamdi, Khaled Shaban,
• Abstract要約: 我々はCAMO(Class-Aware Minority-d)と呼ばれる不均衡問題に対するユニークなアンサンブル技術を提供する。 投票分布、信頼度校正、モデル間不確実性を組み込んだ階層的な手続きを通じて、CAMOは少数派予測の保存と増幅をしながら、過小評価されたクラスを動的に促進する。 8つの異なる言語モデル(3つのLLMと5つのSLM)を用いて,ゼロショットおよび微調整条件下で7つのアンサンブルアルゴリズムをベンチマークした。
• 参考スコア（独自算出の注目度）: 0.5097809301149341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world categorization is severely hampered by class imbalance because traditional ensembles favor majority classes, which lowers minority performance and overall F1-score. We provide a unique ensemble technique for imbalanced problems called CAMO (Class-Aware Minority-Optimized).Through a hierarchical procedure that incorporates vote distributions, confidence calibration, and inter model uncertainty, CAMO dynamically boosts underrepresented classes while preserving and amplifying minority forecasts. We verify CAMO on two highly unbalanced, domain-specific benchmarks: the DIAR-AI/Emotion dataset and the ternary BEA 2025 dataset. We benchmark against seven proven ensemble algorithms using eight different language models (three LLMs and five SLMs) under zero-shot and fine-tuned settings .With refined models, CAMO consistently earns the greatest strict macro F1-score, setting a new benchmark. Its benefit works in concert with model adaptation, showing that the best ensemble choice depends on model properties .This proves that CAMO is a reliable, domain-neutral framework for unbalanced categorization.
• Abstract（参考訳）: 現実世界の分類は、伝統的なアンサンブルが多数派を好んでおり、少数派のパフォーマンスと全体的なF1スコアを低下させるため、階級不均衡によって著しく妨げられている。 本稿では,CAMO(Class-Aware Minority-Optimized)と呼ばれる不均衡問題に対するユニークなアンサンブル手法を提案する。 投票分布、信頼度校正、モデル間不確実性を組み込んだ階層的な手続きを通じて、CAMOは少数派予測の保存と増幅をしながら、過小評価されたクラスを動的に促進する。 私たちは、DIAR-AI/EmotionデータセットとBEA 2025データセットという、高度にバランスの取れていない2つのドメイン固有のベンチマークでCAMOを検証する。 8つの異なる言語モデル(3つのLLMと5つのSLM)を用いて、ゼロショットおよび微調整設定で7つのアンサンブルアルゴリズムをベンチマークした。 改良されたモデルでは、CAMOは一貫して最大の厳格なマクロF1スコアを獲得し、新しいベンチマークを設定している。 その利点はモデル適応と協調して働き、最高のアンサンブルの選択がモデルの性質に依存することを示す。 このことは、CAMOがアンバランスな分類のための信頼できる、ドメイン中立のフレームワークであることを証明している。

関連論文リスト

• Learning to Trust the Crowd: A Multi-Model Consensus Reasoning Engine for Large Language Models [0.0]
  大規模言語モデル(LLM)は平均年齢のパフォーマンスは高いが、インスタンスレベルでは信頼性が低い。 本稿では,LLM出力の集合を教師付きメタラーナへの入力として扱うマルチモデル・コンセンサス・推論エンジンを提案する。 このシステムは、自然言語の応答をセマンティックな埋め込み、ペアの類似性とクラスタリング統計、語彙的および構造的手がかり、推論品質スコア、信頼度推定、モデル固有の事前情報を用いて構造化された特徴にマッピングする。
  論文  参考訳（メタデータ） (2026-01-12T06:27:06Z)
• Majority Rules: LLM Ensemble is a Winning Approach for Content Categorization [0.0]
  本研究では,大規模言語モデル(LLM)を用いた非構造化テキスト分類のためのアンサンブルフレームワークを提案する。 複数のモデルを統合することで、アンサンブル大言語モデル(eLLM)フレームワークは個々のシステムの共通の弱点に対処する。 eLLMは人間の専門レベルに近いパフォーマンスを実現し、分類に基づく分類のためのスケーラブルで信頼性の高いソリューションを提供する。
  論文  参考訳（メタデータ） (2025-11-11T05:10:09Z)
• Unbiased Max-Min Embedding Classification for Transductive Few-Shot Learning: Clustering and Classification Are All You Need [83.10178754323955]
  わずかなショットラーニングにより、モデルがいくつかのラベル付き例から一般化できる。 本稿では,Unbiased Max-Min Embedding Classification (UMMEC)法を提案する。 本手法は最小ラベル付きデータを用いて分類性能を著しく向上させ, 注釈付きLの最先端化を推し進める。
  論文  参考訳（メタデータ） (2025-03-28T07:23:07Z)
• FILM: Framework for Imbalanced Learning Machines based on a new unbiased performance measure and a new ensemble-based technique [37.94431794242543]
  本研究は,バイナリ分類タスクの非バランスなデータセットを扱う際の課題に対処する。 標準評価指標は、しばしば少数民族の不均等な表現に偏っている。 本稿では, バイアスを著しく低減した新しい指標Unbiased Integration Coefficientsを提案する。
  論文  参考訳（メタデータ） (2025-03-06T12:15:56Z)
• Ensemble Methods for Sequence Classification with Hidden Markov Models [8.241486511994202]
  隠れマルコフモデル(HMM)のためのアンサンブル手法を用いたシーケンス分類への軽量なアプローチを提案する。 HMMは、その単純さ、解釈可能性、効率性のために、不均衡または小さいデータセットを持つシナリオにおいて、大きな利点を提供する。 アンサンブルに基づくスコアリング手法により,任意の長さのシーケンスの比較が可能となり,不均衡なデータセットの性能が向上する。
  論文  参考訳（メタデータ） (2024-09-11T20:59:32Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Label-Imbalanced and Group-Sensitive Classification under Overparameterization [32.923780772605596]
  ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。 標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。 本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
  論文  参考訳（メタデータ） (2021-03-02T08:09:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。