論文の概要: LinguIUTics at PsyDefDetect: Iterative Imbalance-Aware Fine-tuning of Qwen3-8B for Psychological Defense Mechanism Classification
- arxiv url: http://arxiv.org/abs/2606.00647v1
- Date: Sat, 30 May 2026 09:47:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.573328
- Title: LinguIUTics at PsyDefDetect: Iterative Imbalance-Aware Fine-tuning of Qwen3-8B for Psychological Defense Mechanism Classification
- Title(参考訳): PsyDefDetectにおけるLinguIUTics:Qwen3-8Bの反復的不均衡を考慮した心理防御機構分類
- Abstract要約: PsyDefDetect 2026の共有タスクでは、LinguIUTicsチームが公式のポジティブクラスリーダーボードで0.3917のマクロF1スコアを達成した。
我々は,階層化クロスバリデーション,少数クラスのラウンドロビン語彙拡張,ロジットバイアスチューニングとアンサンブルブレンディングを備えた後処理パイプラインの3つの戦略を活用する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Detecting psychological defense mechanisms in conversational text remains a challenging clinical NLP problem. For the PsyDefDetect 2026 shared task (nine-class utterance classification evaluated via macro F1), our team LinguIUTics achieves a macro F1-score of 0.3917 on the official positive-class leaderboard, ranking 4th out of 21 registered teams and improving over the Ministral-8B task baseline (31.48 macro F1) by 7.7 absolute points (24.4 percent relative). BERT-family encoders and zero-shot LLMs proved ineffective on rare classes due to severe class imbalance, leading us to QLoRA fine-tuning of Qwen3-8B. We leverage three key strategies: grouped stratified cross-validation (preventing leakage), minority-class round-robin lexical augmentation, and a post-processing pipeline with logit bias tuning and ensemble blending. Together, these components close much of the validation-to-leaderboard gap and substantially improve minority-class recall, driving the critical "Unclear" class (Level 8) from near-zero performance to an F1 score of 0.797.
- Abstract(参考訳): 会話テキストにおける心理的防衛機構の検出は、まだ難しいNLP問題である。
PsyDefDetect 2026共有タスク(マクロF1を介して評価された9つのクラス発話分類)については、LinguIUTicsが公式のポジティブクラスリーダーボードで0.3917のマクロF1スコアを獲得し、21の登録チーム中4位、Ministral-8Bタスクベースライン(31.48マクロF1)を7.7絶対ポイント(24.4%)改善しました。
BERT ファミリーエンコーダとゼロショット LLM は,クラス不均衡が激しいため,稀なクラスでは有効でないことが判明し,Qwen3-8B の QLoRA 微調整を行った。
グループ化層状クロスバリデーション(漏洩防止)、少数クラスのラウンドロビン語彙拡張、ロジットバイアスチューニングとアンサンブルブレンディングを備えた後処理パイプラインの3つの主要な戦略を活用する。
これらのコンポーネントは、検証とリーダボードのギャップの大部分を閉じ、マイノリティクラスのリコールを大幅に改善し、クリティカルな"Unclear"クラス(レベル8)をほぼゼロのパフォーマンスからF1スコアの0.797まで駆動した。
関連論文リスト
- Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳(メタデータ) (2026-07-30T16:22:13Z) - Separating Secrets from Placeholders: A Hybrid CNN-CodeBERT Framework for Three-Class Credential Leakage Detection [3.853925623717688]
公開ソースコードリポジトリのクレデンシャルリークは、重大なセキュリティ脅威を引き起こす。
本稿では,プレースホルダーや弱い資格情報を個別のクラスとして明示的にモデル化する3クラス分類フレームワークを提案する。
10のプログラミング言語にまたがる9,426のサンプルを新たに構築したデータセットに対して,我々のアプローチを評価する。
論文 参考訳(メタデータ) (2026-05-29T16:36:20Z) - Overview of the PsyDefDetect Shared Task at BioNLP 2026: Detecting Levels of Psychological Defense Mechanisms in Supportive Conversations [33.49851288070166]
PsyDefDetectについて概説する。情緒的支援対話における心理的防衛機構のレベルを検出するための共有タスクである。
このタスクでは,対象者の発話を,7つの階層的防衛メカニズムレーティング尺度(DMRS)レベルと2つの補助ラベルの9つのカテゴリの1つに分類するようシステムに求めている。
最良のシステムは0.420のマクロF1スコアを達成し、データセットで報告された最強の微調整ベースラインを顕著な差で上回った。
論文 参考訳(メタデータ) (2026-05-24T07:17:54Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳(メタデータ) (2026-05-17T07:08:14Z) - UTS at PsyDefDetect: Multi-Agent Councils and Absence-Based Reasoning for Defense Mechanism Classification [1.348563827917271]
本稿では,感情支援対話における心理的防衛機構の分類システムについて述べる。
中心的な洞察は、防御メカニズムが欠落しているものによって定義されることである。
我々はこれを、最も大きな単一利得を考慮に入れた、即効レベルの臨床規則における感情認知統合スペクトルとしてエンコードする。
論文 参考訳(メタデータ) (2026-05-10T21:30:02Z) - Nürnberg NLP at PsyDefDetect: Multi-Axis Voter Ensembles for Psychological Defence Mechanism Classification [0.0]
PsyDefDetectでは8つの正の防衛カテゴリーが表面言語を共有しており、実用的機能だけが異なる。
この知見を3つの軸にまたがる9声のアンサンブルに変換する。
システムは隠れたテストセットで$Ftest=.420$に達し、21の登録チームの中で第1位となる。
論文 参考訳(メタデータ) (2026-05-08T11:32:31Z) - UCSC-NLP at SemEval-2026 Task 13: Multi-View Generalization and Diagnostic Analysis of Machine-Generated Code Detection [0.0]
本稿では,人書きコードとAI生成コードとを区別するシステムを提案する。
Subtask Aでは、ジェネレータ不変表現を促進するマルチビュートレーニングフレームワークでUniXcoder-baseを微調整します。
サブタスクBでは,重度のクラス不均衡が致命的なマイノリティクラス障害を引き起こすことを示す。
論文 参考訳(メタデータ) (2026-04-28T21:41:59Z) - Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。
LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か?
277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
論文 参考訳(メタデータ) (2026-04-15T14:10:58Z) - Critique-GRPO: Advancing LLM Reasoning with Natural Language and Numerical Feedback [59.078756231841574]
Critique-GRPOは、自然言語と数値フィードバックを統合して効果的なポリシー最適化を行うオンラインRLフレームワークである。
批判-GRPOは、教師付き学習とRLに基づく微調整法を8つの難解な数学、STEM、一般的な推論タスクで一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2025-06-03T17:39:02Z) - Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。
本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。
我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
論文 参考訳(メタデータ) (2025-03-12T15:46:12Z) - Revisiting adversarial training for the worst-performing class [60.231877895663956]
多くのデータセットにおいて、トップパフォーマンスクラスと最悪のパフォーマンスクラスの間には、かなりのギャップがある。
我々は、最悪のパフォーマンスのクラスを明示的に最適化することで、このギャップを減らせることができると論じる。
本手法は,クラス集中型オンライン学習(CFOL)と呼ばれ,最悪のクラス損失に対する高い確率収束保証を含む。
論文 参考訳(メタデータ) (2023-02-17T13:41:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。