論文の概要: BioSentinel at EXIST 2026: Soft-Label Optimization with XLM-RoBERTa for Sexism Intent Classification in Memes
- arxiv url: http://arxiv.org/abs/2607.24137v1
- Date: Mon, 27 Jul 2026 08:18:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.361188
- Title: BioSentinel at EXIST 2026: Soft-Label Optimization with XLM-RoBERTa for Sexism Intent Classification in Memes
- Title（参考訳）: EXIST 2026におけるバイオセンチネル:XLM-RoBERTaを用いたソフトラベル最適化
- Abstract要約: 本稿では,バイオセンチネルチームによるEXIST 2026 Task 2.2: Source Intention in Memesへの参加について述べる。
この課題には、ミームの背後にあるコミュニケーション意図を、直接的、判断的、あるいは(非性的な)ノーとして分類する必要がある
ソフトアノテータ分布にKL分散を組み込んだ複合損失関数を用いて訓練したxlm-roberta-base(270Mパラメータ)に基づくテキスト中心のアプローチを提案する。
- 参考スコア（独自算出の注目度）: 0.8749675983608171
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper describes the BioSentinel team's participation in EXIST 2026 Task 2.2: Source Intention in Memes, part of the CLEF 2026 evaluation campaign. The task requires classifying the communicative intent behind memes as direct, judgemental, or no (non-sexist), under a Learning with Disagreement (Le-Wi-Di) paradigm that mandates both hard-label and soft-label (probability distribution) predictions. We present a text-centric approach built on xlm-roberta-base (270M parameters) trained with a composite loss function combining KL divergence on soft annotator distributions and weighted cross-entropy on hard labels. On the official test set, the system achieved an ICM-Soft-Norm of 0.3229 and ICM-Norm of 0.3778, with a hard F1-score of 0.4236, ranking 40th (out of 118 submissions) in the soft-soft evaluation and 49th (out of 187 submissions) in the hard-hard evaluation. We provide an analysis of the dataset characteristics, exploratory larger-architecture runs, and the role of annotator disagreement in shaping model design for subjective NLP tasks. Ablation results show that KL loss improves soft-label metrics, while CE loss improves hard-label accuracy. We also report a separate validation-set temperature analysis.
- Abstract（参考訳）: 本稿では,CLEF 2026評価キャンペーンの一環として,EXIST 2026 Task 2.2: Source Intention in Memesに参加するBioSentinelチームについて述べる。
このタスクでは、ミームの背後にあるコミュニケーション意図を、直接的、判断的、あるいはノー(非セクシスト)として分類し、ハードラベルとソフトラベル(確率分布)の予測を義務付ける学習(Le-Wi-Di)パラダイムで分類する必要がある。
ソフトアノテータ分布上のKL分散とハードラベル上の重み付きクロスエントロピーを組み合わせた複合損失関数を用いて学習したxlm-roberta-base(270Mパラメータ)に基づくテキスト中心のアプローチを提案する。
公式テストセットでは、ICM-Soft-Normの0.3229、ICM-Normの0.3778、ハードF1スコアの0.4236、ソフトソフト評価の40位(118件中)、ハードハード評価の49位(187件中)を達成した。
主観的NLPタスクのための形状モデル設計におけるアノテータの相違点として,データセットの特徴,探索的な大規模アーキテクチャ実行,およびアノテータの相違点について分析する。
その結果,KLの損失はソフトラベルの精度が向上し,CEの損失はハードラベルの精度が向上した。
また、別個の検証セット温度分析も報告した。
関連論文リスト
- Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。
人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
論文 参考訳（メタデータ） (2026-08-26T14:41:24Z) - Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。
我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。
SUBJSIMの結果は,本手法の利点を示すものである。
論文 参考訳（メタデータ） (2026-08-20T06:26:03Z) - Semantic Drift in Bug Resolution: How Behavioral Signals Propagate from Reports to Tests and Patches [18.727291516223115]
Desc2Fixは、バグレポートのセマンティックアライメント、テストのトリガー、開発者による修正を測定するフレームワークである。
GPT-4o と DeepSeek-Chat を用いて,Defects4J と SWT-Bench の2,857 個のレポート・パッチを解析した。
論文 参考訳（メタデータ） (2026-07-20T22:32:23Z) - Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist [69.81453995715673]
既存の忠実度ベンチマークは単純な原子命令に依存している。
本稿では,実アリーナT2Iログから抽出した310プロンプトの応力ベンチマークであるArena-T2I Hardを紹介する。
本稿では,各プロンプトをイエス/ノー質問のDAGに分解し,失敗する両親の子孫をゼロにする依存性対応チェックリスト報酬を提案する。
論文 参考訳（メタデータ） (2026-06-30T14:17:05Z) - Auditing LLM Benchmarks with Item Response Theory [1.1455131351238124]
LLMベンチマークラベルはリリース時に凍結され、ダウンストリームベンチマークやエラーなどすべてに静かに伝播する。
項目応答理論に基づくインジケータを導入し、上位200の例で95%の精度で誤ラベルをサーフェスする。
我々はこれらの誤りを、機械的なラベル付け、ソースデータセットから受け継がれていない上流のアノテーションの誤り、および基本的には修正可能なシングルラベルのない曖昧な項目まで追跡する。
論文 参考訳（メタデータ） (2026-05-28T19:38:44Z) - A Controlled Synthetic Benchmark for Educational Aspect-Based Sentiment Analysis [47.027290803102666]
本研究は,1万の総合的な授業レビューから構築されたABSAの教育的評価基準について紹介する。
最強の未調整モデルであるBERTは0.2760マイクロF1に達する。
Herathらによる2,829名の学生フィードバックレビューに対する保守的な外部評価では、9アスペクト重なりのBERTでは0.4593のマイクロF1が得られる。
論文 参考訳（メタデータ） (2026-05-25T07:05:21Z) - STaR-DRO: Stateful Tsallis Reweighting for Group-Robust Structured Prediction [0.20165644958637055]
制御可能な推論と堅牢な微調整のための2部フレームワークを提案する。
まず、フォーマットのドリフト、ラベルの曖昧さ、エビデンス幻覚、メタデータ条件の混乱に対処するためのタスクに依存しないプロンプト戦略を導入する。
第2に,グループ不均一性のステートフルなロバスト最適化手法STaR-DROを導入する。
論文 参考訳（メタデータ） (2026-04-09T21:58:42Z) - Distributional Open-Ended Evaluation of LLM Cultural Value Alignment Based on Value Codebook [50.10594064510559]
DOVEは、人文テキストとLLM出力を直接比較する分散評価フレームワークである。
DOVEは, ダウンストリームタスクと31.56%の相関を達成し, 高い信頼性を保ちながら, 文化ごとのサンプル500点程度の信頼性を維持した。
論文 参考訳（メタデータ） (2026-03-16T08:33:10Z) - Loss Design and Architecture Selection for Long-Tailed Multi-Label Chest X-Ray Classification [0.0]
長期分布クラスはマルチラベル胸部X線分類において重要な課題である。
我々は,CXR-LT 2026ベンチマークを用いて,損失関数,CNNバックボーンアーキテクチャ,後学習戦略の体系的評価を行った。
本実験は,遅延再重み付けによるLDAMが標準BCEと非対称な損失を常に上回っていることを示す。
論文 参考訳（メタデータ） (2026-03-02T17:33:00Z) - Uncertainty-aware Long-tailed Weights Model the Utility of Pseudo-labels for Semi-supervised Learning [50.868594148443215]
本研究では,不確かさを意識したアンサンブル構造(UES)を提案する。
UESは軽量でアーキテクチャに依存しないため、分類や回帰を含む様々なコンピュータビジョンタスクに容易に拡張できる。
論文 参考訳（メタデータ） (2025-03-13T02:21:04Z) - Machine Translation Meta Evaluation through Translation Accuracy
Challenge Sets [92.38654521870444]
ACESは146の言語ペアにまたがる対照的な課題セットです。
このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。
我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
論文 参考訳（メタデータ） (2024-01-29T17:17:42Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。