論文の概要: CLaC at SemEval-2026 Task 6: Response Clarity Detection in Political Discourse
- arxiv url: http://arxiv.org/abs/2605.02170v1
- Date: Mon, 04 May 2026 03:01:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.117499
- Title: CLaC at SemEval-2026 Task 6: Response Clarity Detection in Political Discourse
- Title(参考訳): CLaC at SemEval-2026 Task 6: Response Clarity Detection in Political Discourse (英語)
- Authors: Nawar Turk, Lucas Miquet-Westphal, Leila Kosseim,
- Abstract要約: 本稿では,米国大統領選挙における質問応答対における応答明瞭度と回避検出に関するSemEval-2026タスク6(CLARITY)について紹介する。
我々のアンサンブルは3クラスタスク1では80マクロF1、9クラスタスク2では59マクロF1を達成する。
私たちのコード、プロンプト、モデル構成、結果が公開されています。
- 参考スコア(独自算出の注目度): 0.0509780930114934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present our system for SemEval-2026 Task 6 (CLARITY) on response clarity and evasion detection in question-answer pairs from U.S. presidential interviews, comparing fine-tuned encoders with prompt-based LLMs. Our LLM ensemble achieves 80 macro-F1 on the 3-class Task 1 (9th/41) and 59 on the 9-class Task 2 (3rd/33). Across 8 transformer encoders optimized through a four-stage pipeline, partial encoder layer unfreezing outperforms full fine-tuning by a wide margin. Combining English and multilingual encoders further improves ensemble performance over either family alone, despite multilingual models being individually weaker. Prompt-based LLMs, without any task-specific parameter updates, outperform fine-tuned encoders, particularly on minority classes; among open-weight LLMs, parameter count does not predict performance. Enriched input, concatenating the full interviewer turn, improves LLM performance but not that of encoders, an effect that persists with Longformer's extended context window, suggesting the divergence is not attributable to sequence-length capacity alone in our settings. The Clear Reply/Ambivalent boundary remains the dominant failure mode, mirroring the disagreement among human annotators. Our code, prompts, model configurations, and results are publicly available.
- Abstract(参考訳): 本稿では,米国大統領インタビューにおける質問応答対の応答明瞭度と回避検出に関するSemEval-2026タスク6(CLARITY)について,微調整エンコーダとプロンプトベースLLMとの比較を行った。
LLMアンサンブルは3クラスタスク1(9th/41)で80マクロF1、9クラスタスク2(3rd/33)で59マクロF1を達成する。
アクロス8トランスエンコーダは4段のパイプラインで最適化され、部分的なエンコーダ層は広いマージンで完全な微調整性能を発揮する。
英語と多言語エンコーダを組み合わせることで、個別に弱いにもかかわらず、どちらのファミリーよりもアンサンブル性能が向上する。
プロンプトベースのLLMは、タスク固有のパラメータを更新することなく、特にマイノリティクラスにおいて、微調整エンコーダよりも優れており、オープンウェイトなLLMでは、パラメータカウントは性能を予測しない。
エンコーダはLongformerの拡張コンテキストウインドウに持続する効果であり、我々の設定では配列長のキャパシティのみに起因するものではないことを示唆している。
クリアリプライ/アンバウンド境界は、人間のアノテータ間の不一致を反映して、支配的な障害モードのままである。
私たちのコード、プロンプト、モデル構成、結果が公開されています。
関連論文リスト
- SpeechLLM: Unified Speech and Language Model for Enhanced Multi-Task Understanding in Low Resource Settings [1.6882236110408633]
音声の埋め込みをLLM互換トークンに変換するパラメータ効率のよいアダプタを用いた解を提案する。
我々は、エンドツーエンド自動音声認識(ASR)、名前付きエンティティ認識(NER)、感情分析(SA)に焦点を当てる。
提案したアダプタは、トレーニング可能なパラメータを7倍少なくして、大幅なパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2025-08-29T22:38:16Z) - FGIT: Fault-Guided Fine-Tuning for Code Generation [11.557977684152233]
大規模言語モデルのコード生成を改善するために,FGIT(Fault-Guided Fine-Tuning)を提案する。
提案手法は,pass@1ベンチマークで平均6.9%の相対的改善を実現している。
本手法は,多種多様な命令調整 LLM に対して3.8% から19.1% までの性能向上を図った。
論文 参考訳(メタデータ) (2025-03-21T07:23:26Z) - Large Language Models as Code Executors: An Exploratory Study [29.545321608864295]
本稿では,Large Language Models (LLM) をコードエグゼキュータとして探索する。
OpenAIのo1、GPT-4o、GPT-3.5、DeepSeek、Qwen-Coderなど、さまざまなLLMでこの実現可能性を調べています。
我々は,コードスニペットを行単位で処理し,弱いモデルの精度を平均7.22%向上させるIIP(Iterative Instruction Prompting)技術を導入する。
論文 参考訳(メタデータ) (2024-10-09T08:23:22Z) - Blending LLMs into Cascaded Speech Translation: KIT's Offline Speech Translation System for IWSLT 2024 [61.189875635090225]
大規模言語モデル (LLM) は現在,自動音声認識 (ASR) や機械翻訳 (MT) ,さらにはエンドツーエンド音声翻訳 (ST) など,さまざまなタスクを探索中である。
論文 参考訳(メタデータ) (2024-06-24T16:38:17Z) - LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders [34.421335513040795]
大規模デコーダのみの言語モデル(LLM)は、今日のNLPタスクとベンチマークのほとんどで最先端のモデルである。
LLM2Vecは、任意のデコーダのみのLCMを強力なテキストエンコーダに変換する、単純な教師なしアプローチである。
論文 参考訳(メタデータ) (2024-04-09T02:51:05Z) - Not All Layers of LLMs Are Necessary During Inference [68.88671495401483]
いくつかのタスクにおいて、Large Language Modelsはいくつかの中間層での最終的な出力に匹敵する結果が得られることを示す。
本稿では,入力インスタンスの推論処理を適応的に終了するアルゴリズムAdaInferを提案する。
論文 参考訳(メタデータ) (2024-03-04T16:23:58Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM
Inference with Transferable Prompt [96.24800696597707]
圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。
本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。
我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-05-17T20:45:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。