論文の概要: Writerslogic at the CLEF 2026 SimpleText Track: Multi-Candidate LLM Simplification and Stacked Complexity Spotting
- arxiv url: http://arxiv.org/abs/2610.03567v1
- Date: Fri, 02 Oct 2026 16:44:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.490579
- Title: Writerslogic at the CLEF 2026 SimpleText Track: Multi-Candidate LLM Simplification and Stacked Complexity Spotting
- Title（参考訳）: CLEF 2026 SimpleText Track: Multi-Candidate LLM Simplification and Stacked Complexity Spotting
- Abstract要約: CLEF 2026 SimpleTextタスクに参加し、タスク1(テキストの単純化)とタスク2(複雑なスポッティング)に対処した。
タスク1では, GPT-4o-mini を用いた多候補生成パイプラインを開発し, 様々な温度で文ごとの単純化候補を5つ生成する。
タスク2では、350Kのラベル付き(ソース、文)ペア上でDeBERTa-v3-large NLIモデルを微調整し、自然言語推論としてフレーミング幻覚検出を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We describe the Writerslogic team's participation in the CLEF 2026 SimpleText shared task, addressing Task 1 (text simplification) and Task 2 (complexity spotting). For Task 1, we develop a multi-candidate generation pipeline using GPT-4o-mini that produces five simplification candidates per sentence at varying temperatures, then selects the best candidate using a reference-free scoring heuristic that rewards compression, source word retention, Cochrane Plain Language Summary vocabulary usage, and lexical simplicity. On Task 1.1 (sentence-level simplification), our Claude Sonnet 4 submission achieves SARI 47.43 and BLEU 14.21, the top-ranked sentence-level system (3rd on the combined Task 1 leaderboard, behind two document-level submissions). For Task 2, we fine-tune a DeBERTa-v3-large NLI model on 350K labeled (source, sentence) pairs, framing hallucination detection as natural language inference. The model reads the most relevant source sentence as premise and the candidate as hypothesis, directly learning to distinguish grounded from hallucinated content. On Task 2.1 (binary overgeneration identification), our fine-tuned DeBERTa system achieves 0.8081 document-level macro F1 (0.8085 in our best ensemble), the top-ranked entry within the identification track and 2nd among teams overall, behind AIIR Lab (0.8197). On Task 2.2 (multi-class error classification), our best submission reaches 0.804 multiclass accuracy, ranking 2nd among unique teams behind AIIR Lab (0.827). We evaluate both tasks on English and multilingual biomedical text from Cochrane systematic reviews.
- Abstract（参考訳）: CLEF 2026 SimpleText共有タスクへのWriterslogicチームの参加について述べる。
タスク1では, GPT-4o-miniを用いた多候補生成パイプラインを開発し, 様々な温度で文毎の5つの単純化候補を生成し, 圧縮, ソース単語の保持, コクランプレーン言語要約語彙の使用, 語彙的単純さに報いる基準のないスコアリングヒューリスティックを用いて, 最適な候補を選択する。
Task 1.1(文レベルの単純化)では、Claude Sonnet 4 が SARI 47.43 と BLEU 14.21 を達成しました。
タスク2では、350Kのラベル付き(ソース、文)ペア上でDeBERTa-v3-large NLIモデルを微調整し、自然言語推論としてフレーミング幻覚検出を行う。
モデルでは、最も関連性の高いソース文を前提として、候補を仮説として読み出し、幻覚的内容から基底を識別するために直接学習する。
タスク2.1(バイナリオーバージェネレーション識別)では、AIIR Lab(0.8197)の上位2位の文書レベルマクロF1(0.8085)を達成した。
タスク2.2(マルチクラスエラー分類)では,AIIR Lab(0.827)のユニークなチームの中で2位にランクインした。
我々は,コクランの体系的レビューから,英語と多言語バイオメディカルテキストのタスクを評価する。
関連論文リスト
- Lingo_Research_Group at SemEval-2026 Task 9: Evaluating Prompt Variants for Polarization Detection [1.921560550802477]
本稿では,SemEval-2026 Task 9: Multilingual Text Classification Challenge - Polarization Detectionを提案する。
1)二分極検出、(2)分極型分類、(3)分極型識別の3つのサブタスクをカバーする。
我々は,用語の明確さにおいて異なる12種類の設計プロンプトを考慮し,短い設計プロンプトの研究の体系的アプローチを採用する。
論文 参考訳（メタデータ） (2026-06-02T08:41:54Z) - PolyFrame at MWE-2026 AdMIRe 2: When Words Are Not Enough: Multimodal Idiom Disambiguation [0.533024001730262]
PolyFrameは、画像+テキストランキング(Subtask A)とテキストのみのキャプションランキング(Subtask B)の両方のための統合パイプラインである。
全てのモデルでは、凍ったCLIPスタイルの視覚言語エンコーダと、軽量モジュールのみを訓練する多言語BGE M3エンコーダが保持されている。
マルチリンガルブラインドテストでは,Subtask Aは0.35/0.73,Subtask Bは0.32/0.71であった。
論文 参考訳（メタデータ） (2026-02-20T23:07:55Z) - LuxVeri at GenAI Detection Task 1: Inverse Perplexity Weighted Ensemble for Robust Detection of AI-Generated Text across English and Multilingual Contexts [0.8495482945981923]
本稿では,AI生成コンテンツの検出に関するコリング2025ワークショップのタスク1のために開発されたシステムについて述べる。
提案手法では,各モデルの逆パープレキシティに応じて重みが割り当てられたモデルのアンサンブルを利用して,分類精度を向上させる。
本研究は, 単言語と多言語の両方において, 機械によるテキスト検出の堅牢性を向上させるために, 逆パープレキシティ重み付けの有効性を示すものである。
論文 参考訳（メタデータ） (2025-01-21T06:32:32Z) - Cross-lingual Contextualized Phrase Retrieval [63.80154430930898]
そこで本研究では,言語間関係の単語検索を多義的に行うタスクの定式化を提案する。
我々は、コントラスト学習を用いて、言語間コンテクスト対応句検索(CCPR)を訓練する。
フレーズ検索タスクでは、CCPRはベースラインをかなり上回り、少なくとも13ポイント高いトップ1の精度を達成する。
論文 参考訳（メタデータ） (2024-03-25T14:46:51Z) - GersteinLab at MEDIQA-Chat 2023: Clinical Note Summarization from
Doctor-Patient Conversations through Fine-tuning and In-context Learning [4.2570830892708225]
本稿では,サブタスクAとサブタスクBの両方を含む,MEDIQA-2023 Dialogue2Note共有タスクへのコントリビューションについて述べる。
本稿では,対話要約問題としてタスクにアプローチし,a)事前学習した対話要約モデルとGPT-3の微調整,およびb)大規模言語モデルであるGPT-4を用いた少数ショットインコンテキスト学習(ICL)の2つのパイプラインを実装した。
どちらの方法もROUGE-1 F1、BERTScore F1(deberta-xlarge-mnli)、BLEURTで優れた結果が得られる。
論文 参考訳（メタデータ） (2023-05-08T19:16:26Z) - DAMO-NLP at SemEval-2023 Task 2: A Unified Retrieval-augmented System
for Multilingual Named Entity Recognition [94.90258603217008]
MultiCoNER RNum2共有タスクは、細粒度でノイズの多いシナリオにおいて、多言語の名前付きエンティティ認識(NER)に取り組むことを目的としている。
MultiCoNER RNum1の以前のトップシステムは、ナレッジベースまたはガゼッタを組み込んでいる。
細粒度多言語NERのための統一検索拡張システム(U-RaNER)を提案する。
論文 参考訳（メタデータ） (2023-05-05T16:59:26Z) - Bag of Tricks for Effective Language Model Pretraining and Downstream
Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。
GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。
最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文 参考訳（メタデータ） (2023-02-18T09:26:35Z) - Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation
System for the WMT22 Translation Task [49.916963624249355]
本稿では, Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation system for the WMT22 shared taskについて述べる。
我々は、英語$Leftrightarrow$Livonianの一般的な翻訳作業に参加する。
本システムは,M2M100を対象言語に適応させる新しい手法を用いて構築した。
論文 参考訳（メタデータ） (2022-10-17T04:34:09Z) - UPB at SemEval-2021 Task 7: Adversarial Multi-Task Learning for
Detecting and Rating Humor and Offense [0.6404122934568858]
本稿では, 敵のマルチタスクネットワークであるAMTL-Humorを用いて, ユーモアや攻撃的テキストの検出と評価を行う。
私達の最もよいモデルはすべてのテストされた構成のアンサンブルから成り、95.66% F1スコアおよびタスク1aのための94.70%の正確さを達成します。
論文 参考訳（メタデータ） (2021-04-13T09:59:05Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳（メタデータ） (2020-10-15T18:34:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。