論文の概要: Team DACTYL at PAN 2026: Bayesian Data Mixing and Empirical X-risk Minimization for AI-text Detection

• arxiv url: http://arxiv.org/abs/2607.17382v1
• Date: Sun, 19 Jul 2026 18:48:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.45448
• Title: Team DACTYL at PAN 2026: Bayesian Data Mixing and Empirical X-risk Minimization for AI-text Detection
• Title（参考訳）: PAN 2026におけるチームDACTYL:AIテキスト検出のためのベイズデータ混合と実証的Xリスク最小化
• Abstract要約: 既存の研究では、AIが生成したテキスト検出分類器は、強い非分配(ID)性能を達成しているが、オフ・オブ・ディストリビューション(OOD)テキストでは、同じ性能を維持していないことが示されている。 ベイズ分類ヘッドを用いたBERT-tinyモデルを微調整し、3つの異なるデータセットにまたがるテキストを選択し、統合トレーニングセットとして使用する。 我々の結果は、注意深いデータセットのキュレーションによってOODのパフォーマンスが向上することを示している。
• 参考スコア（独自算出の注目度）: 0.33842793760651557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing research shows that AI-generated text detection classifiers achieve strong in-distribution (ID) performance but do not maintain the same performance on out-of-distribution (OOD) texts, suggesting overfitting to dataset-specific features. However, combining different training datasets doesn't always improve performance and, in some cases, can even encourage shortcut learning. To address this issue, we fine-tune BERT-tiny models with Bayesian classification heads to select texts across three different datasets to use as a consolidated training set. We trained three different classifiers: fine-tuned DeBERTa-V3-large and ModernBERT-large classifiers via empirical X-risk minimization, and an MCGrad model that calibrates the predictions from the ModernBERT-large classifier. The DeBERTa-V3-large-large classifier achieves a mean score of 0.882 on the PAN 2026 test set across five metrics: AUROC, $F_1$, C@1, Brier score, and $F_{0.5u}$. ModernBERT-large achieves a score of 0.96 while MCGrad achieves the best score of the three with a mean score of 0.974, ranking second on the leaderboard. Our results highlight that careful dataset curation can lead to strong OOD performance. We release our ModernBERT-large and DeBERTa-V3-large models at https://huggingface.co/collections/ShantanuT01/panclef-2026 .
• Abstract（参考訳）: 既存の研究によると、AI生成したテキスト検出分類器は、強い分布内(ID)性能を達成するが、オフ・オブ・ディストリビューション(OOD)テキストでは同様の性能を維持しておらず、データセット固有の機能に過度に適合していることが示唆されている。 しかし、異なるトレーニングデータセットを組み合わせることで、パフォーマンスが常に向上するわけではない。 この問題に対処するため、ベイズ分類ヘッドを用いてBERT-tinyモデルを微調整し、3つの異なるデータセットにまたがるテキストを選択し、統合トレーニングセットとして使用する。 実験的なXリスク最小化によるDeBERTa-V3-largeおよびModernBERT-large分類器の微調整と,ModernBERT-large分類器からの予測を校正するMDGradモデルの3つの異なる分類器を訓練した。 DeBERTa-V3-large-large classifierは、AUROC、$F_1$、C@1、Brier score、$F_{0.5u}$の5つのメトリクスからなるPAN 2026テストセットの平均スコアを0.882とする。 ModernBERT-largeは0.96点、MCGradは0.974点、リーダーボードでは2位である。 我々の結果は、注意深いデータセットのキュレーションによってOODのパフォーマンスが向上することを示している。 ModernBERT-largeとDeBERTa-V3-largeモデルをhttps://huggingface.co/collections/ShantanuT01/panclef-2026でリリースします。

関連論文リスト

• Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist [69.81453995715673]
  既存の忠実度ベンチマークは単純な原子命令に依存している。 本稿では,実アリーナT2Iログから抽出した310プロンプトの応力ベンチマークであるArena-T2I Hardを紹介する。 本稿では,各プロンプトをイエス/ノー質問のDAGに分解し,失敗する両親の子孫をゼロにする依存性対応チェックリスト報酬を提案する。
  論文  参考訳（メタデータ） (2026-06-30T14:17:05Z)
• Frozen Multimodal Embeddings for AI-Assisted Interview Assessment of Personality and Cognitive Ability [0.20999222360659606]
  本稿では,ACM Multimedia AVI Challenge 2026について述べる。 Track1は自己報告されたHEXACO性格特性を人格関連面接応答から予測し、Track2は認知能力レベルを分類する。 視覚的特徴にはCLIP、音響的特徴や文字起こしにはWhisper、テキスト表現にはRoBERTa、E5、DeBERTaV3など、凍結したマルチモーダルエンコーダを使用します。
  論文  参考訳（メタデータ） (2026-06-10T11:03:34Z)
• TriTopic: Tri-Modal Graph-Based Topic Modeling with Iterative Refinement and Archetypes [0.40611352512781873]
  セマンティック埋め込み、TF-IDF、メタデータを融合したトリモーダルグラフを用いて、これらの弱点に対処するフレームワークであるTriTopicを提案する。 TriTopicは、"平均文書"の概念を、センターのみではなく境界ケースによって定義されたアーキタイプベースのトピック表現に置き換える。 20のNewsグループ、BBC News、AG News、Arxivのベンチマークでは、TriTopicはデータセット毎に最も高いNMIを達成している。
  論文  参考訳（メタデータ） (2026-02-22T07:29:53Z)
• Back to Supervision: Boosting Word Boundary Detection through Frame Classification [5.901031474087739]
  単語境界検出を教師付きで行うためのモデルに依存しないフレームワークを提案する。 私たちはBuckeyeデータセットでトレーニングとテストを行い、TIMITデータセットでのみテストしました。 我々は,Buckeyeデータセットで0.8427,TIMITデータセットで0.7436,R値で0.8489,0.7807を得た。
  論文  参考訳（メタデータ） (2024-11-15T18:43:29Z)
• Performance Evaluation of Deep Learning and Transformer Models Using Multimodal Data for Breast Cancer Classification [7.405837346783951]
  乳がんの発生率と死亡率の上昇は、女性にとって大きな国際的懸念である。 深層学習(DL)は,BC分類において,ヒトの専門読者と比較して優れた診断性能を示した。 本研究では,BC分類のための多モードDLアーキテクチャを提案し,画像(マンモグラム,4ビュー)とテキストデータ(放射線学的レポート)を新しい社内データセットから利用した。
  論文  参考訳（メタデータ） (2024-10-14T04:22:24Z)
• Enabling Classifiers to Make Judgements Explicitly Aligned with Human Values [73.82043713141142]
  性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。 本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-14T09:10:49Z)
• Efficient, Uncertainty-based Moderation of Neural Networks Text Classifiers [8.883733362171034]
  本稿では,分類器の出力を効率よく操作できるフレームワークを提案する。 予測の不確実性を利用して、不確実で、おそらく不正確な分類を人間のモデレーターに渡す半自動化アプローチを提案する。 一連のベンチマーク実験により、我々のフレームワークは分類F1スコアを5.1から11.2%改善できることが示された。
  論文  参考訳（メタデータ） (2022-04-04T09:07:54Z)
• MSeg: A Composite Dataset for Multi-domain Semantic Segmentation [100.17755160696939]
  セマンティックセグメンテーションデータセットを異なるドメインから統合する合成データセットであるMSegを提案する。 一般化と画素レベルのアノテーションのアライメントを調整し,2万枚以上のオブジェクトマスクを8万枚以上の画像で再現する。 MSegでトレーニングされたモデルは、WildDash-v1のリーダーボードで、トレーニング中にWildDashのデータに触れることなく、堅牢なセマンティックセグメンテーションのためにランク付けされている。
  論文  参考訳（メタデータ） (2021-12-27T16:16:35Z)
• DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing [117.41016786835452]
  本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。 ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。 そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
  論文  参考訳（メタデータ） (2021-11-18T06:48:00Z)
• HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units [81.53783563025084]
  本稿では、BERTのような予測損失に対して、アライメントされたターゲットラベルを提供するオフラインクラスタリングステップを提案する。 提案手法の重要な要素は,マスク領域にのみ予測損失を適用することである。 HuBERTは、より困難なdev-otherおよびtest-other評価サブセットに対して、最大19%と13%の相対的なWER削減を示す。
  論文  参考訳（メタデータ） (2021-06-14T14:14:28Z)
• NLRG at SemEval-2021 Task 5: Toxic Spans Detection Leveraging BERT-based Token Classification and Span Prediction Techniques [0.6850683267295249]
  本稿では,トークン分類やスパン予測手法の簡易バージョンについて検討する。 どちらのアプローチにもBERT、RoBERTa、SpanBERTといったBERTベースのモデルを使用します。 そこで本研究では,Multi-Span,Span+Token,LSTM-CRFの4つのハイブリッド手法と,ユニオン/インターセクションを用いた予測オフセットの組み合わせについて検討する。
  論文  参考訳（メタデータ） (2021-02-24T12:30:09Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。