論文の概要: GATech at AbjadMed: Bidirectional Encoders vs. Causal Decoders: Insights from 82-Class Arabic Medical Classification

• arxiv url: http://arxiv.org/abs/2603.10008v1
• Date: Tue, 17 Feb 2026 16:13:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.560055
• Title: GATech at AbjadMed: Bidirectional Encoders vs. Causal Decoders: Insights from 82-Class Arabic Medical Classification
• Title（参考訳）: GATech at AbjadMed: Bidirectional Encoders vs. Causal Decoders: 82級アラビア医学分類からの洞察
• Authors: Ahmed Khaled Khamis,
• Abstract要約: 本稿では,82のカテゴリーにまたがるアラビア医学テキスト分類のためのシステム記述について述べる。 このアプローチを、多言語およびアラビア語固有のエンコーダと、大規模因果デコーダのセットに対してベンチマークする。 特殊な双方向エンコーダは 因果的デコーダよりも 正確にセマンティック境界を捉えている
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents system description for Arabic medical text classification across 82 distinct categories. Our primary architecture utilizes a fine-tuned AraBERTv2 encoder enhanced with a hybrid pooling strategies, combining attention and mean representations, and multi-sample dropout for robust regularization. We systematically benchmark this approach against a suite of multilingual and Arabic-specific encoders, as well as several large-scale causal decoders, including zero-shot re-ranking via Llama 3.3 70B and feature extraction from Qwen 3B hidden states. Our findings demonstrate that specialized bidirectional encoders significantly outperform causal decoders in capturing the precise semantic boundaries required for fine-grained medical text classification. We show that causal decoders, optimized for next-token prediction, produce sequence-biased embeddings that are less effective for categorization compared to the global context captured by bidirectional attention. Despite significant class imbalance and label noise identified within the training data, our results highlight the superior semantic compression of fine-tuned encoders for specialized Arabic NLP tasks. Final performance metrics on the test set, including Accuracy and Macro-F1, are reported and discussed.
• Abstract（参考訳）: 本稿では,82のカテゴリーにまたがるアラビア医学テキスト分類のためのシステム記述について述べる。 本アーキテクチャでは,AraBERTv2エンコーダを改良し,アテンションと平均表現とマルチサンプルドロップアウトを併用し,ロバストな正規化を実現している。 このアプローチを,Llama 3.370Bによるゼロショット再ランク付けやQwen 3B隠蔽状態からの特徴抽出など,多言語およびアラビア固有エンコーダと大規模因果デコーダのスイートに対して,体系的にベンチマークした。 両方向エンコーダは, 詳細な医用テキスト分類に必要な正確な意味境界を捉える上で, 因果デコーダよりも有意に優れていた。 我々は,次点予測に最適化された因果デコーダが,双方向の注意によって捉えたグローバルな文脈に比べて分類に有効なシーケンスバイアスの埋め込みを生成することを示す。 本研究は, 学習データ中のクラス不均衡やラベルノイズが顕著であるにもかかわらず, アラビア語NLPタスクのための微調整エンコーダのセマンティック圧縮が優れていることを強調した。 AccuracyやMacro-F1など、テストセットの最終的なパフォーマンス指標を報告し、議論する。

関連論文リスト

• Prototypical Hash Encoding for On-the-Fly Fine-Grained Category Discovery [65.16724941038052]
  カテゴリ対応プロトタイプ生成(CPG)とディスクリミカテゴリ5.3%(DCE)が提案されている。 CPGは、各カテゴリを複数のプロトタイプで表現することで、カテゴリ内の多様性を完全にキャプチャすることを可能にする。 DCEは生成されたカテゴリプロトタイプのガイダンスによってハッシュコードの識別能力を向上する。
  論文  参考訳（メタデータ） (2024-10-24T23:51:40Z)
• Responsible AI in NLP: GUS-Net Span-Level Bias Detection Dataset and Benchmark for Generalizations, Unfairness, and Stereotypes [6.30817290125825]
  本稿では、GUSデータセットとマルチラベルトークンレベル検出器を組み合わせたGUS-Net Frameworkを紹介し、社会バイアスのスパンレベル分析を行う。 GUSデータセットには、複数のドメインにまたがる3,739のユニークなスニペットが含まれ、69,000以上のトークンレベルのアノテーションが含まれている。 マルチラベルトークンレベルの分類としてバイアス検出を定式化し,エンコーダベースモデルとデコーダベース大規模言語モデルの両方をベンチマークする。
  論文  参考訳（メタデータ） (2024-10-10T21:51:22Z)
• Optimizing Multi-Stuttered Speech Classification: Leveraging Whisper's Encoder for Efficient Parameter Reduction in Automated Assessment [2.1301560294088318]
  本研究は, 発声音声における不一致の同定における最後のエンコーダ層の役割を明らかにするものである。 計算効率が良く、訓練のためのパラメータが83.7%少なくなり、提案されたアプローチは様々な方言や言語に適応できるようになった。
  論文  参考訳（メタデータ） (2024-06-09T13:42:51Z)
• Triple-Encoders: Representations That Fire Together, Wire Together [51.15206713482718]
  コントラスト学習(Contrastive Learning)は、バイエンコーダを介して発話間の相対距離を埋め込み空間に符号化する表現学習法である。 本研究では,これら独立に符号化された発話から分散発話混合物を効率よく計算する三重エンコーダを提案する。 トリプルエンコーダはバイエンコーダよりも大幅に改善され、シングルベクトル表現モデルよりもゼロショットの一般化が向上することがわかった。
  論文  参考訳（メタデータ） (2024-02-19T18:06:02Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。