論文の概要: HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization
- arxiv url: http://arxiv.org/abs/2607.14349v1
- Date: Wed, 15 Jul 2026 20:24:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.914186
- Title: HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization
- Title（参考訳）: HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization (英語)
- Abstract要約: 本システムでは,12言語にまたがるコンテントから形式論理を解き放つモデルの有効性を評価する。
本課題は、合成規則に基づくシロメトリクススキームのデータセットに基づいて、mDeBERTa-v3ネットワークを微調整して解決する。
トレーニングパイプラインでは,適応群分散ロバスト最適化(DRO),スケジュール付き微分バイアスペナルティ,KL-ダイバージェンス整合正則化を組み合わせた多目的損失関数を用いる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Large Language Models (LLMs) excel in many general NLP tasks, their formal reasoning capabilities are often compromised by content effects, demonstrating a measurable bias towards real-world plausibility. In this paper, we present our system for SemEval-2026 Task 11, which evaluates the ability of models to disentangle formal logic from content across 12 languages with and without distractor premises. We address this challenge using mDeBERTa-v3 networks fine-tuned on a synthetic, rule-based dataset of syllogistic schemes to avoid the semantic noise of LLM-augmented data. To explicitly decouple plausibility from logical structure, our training pipeline employs a multi-objective loss function combining Adaptive Group Distributionally Robust Optimization (DRO), a scheduled differentiable bias penalty, and KL-Divergence consistency regularization. Our system achieved #1 ranks and perfect Ranking Scores (100.0) with 0.00% bias and 100.0% accuracy on Subtask 1 (English), Subtask 2 (Noisy English), and Subtask 3 (Multilingual). On the highly complex Subtask 4 (Noisy Multilingual), the system achieved the 6th rank with 89.06% Accuracy and F1-score, alongside a limited 2.89% Bias and a 37.78 Ranking Score. Our dataset generation engine and codebase are publicly available to facilitate future work on robust logical reasoning.
- Abstract（参考訳）: LLM(Large Language Models)は多くの一般的なNLPタスクに優れていますが、その形式的推論能力は、しばしば内容効果によって損なわれ、実世界の妥当性に対する測定可能なバイアスを示します。
本稿では,SemEval-2026タスク11において,モデルが12言語にまたがって形式論理をコンテンツから切り離す能力を評価する。
我々は,LLM拡張データのセマンティックノイズを回避するために,合成規則に基づくシロジックスキームのデータセットに基づいて細調整されたmDeBERTa-v3ネットワークを用いてこの問題に対処する。
適応群分散ロバスト最適化(DRO)とスケジュール付き微分バイアスペナルティ,KL-Divergence整合性正規化を組み合わせた多目的損失関数を,論理構造から明確に分離する。
本システムでは,Subtask 1 (英語), Subtask 2 (ノイズ英語), Subtask 3 (マルチリンガル) で0.00%の偏りと100.0%の精度で1位, 完全ランクスコア (100.0) を達成した。
非常に複雑なSubtask 4(ノイズ・マルチリンガル)では、89.06%の精度とF1スコアで6位となり、2.89%のバイアスと37.78のスコアが与えられた。
私たちのデータセット生成エンジンとコードベースは、堅牢な論理的推論の今後の作業を容易にするために、公開されています。
関連論文リスト
- PSK at SemEval-2026 Task 9: Multilingual Polarization Detection Using Ensemble Gemma Models with Synthetic Data Augmentation [0.0]
我々はSemEval-2026 Task 9: Multilingual Polarization Detection(22言語にまたがる二言語分類タスク)について提案する。
我々のアプローチは、Low-Rank Adaptation (LoRA)を用いて言語毎にGemma3モデルを分離し、Low-Rank Adaptation (LLM)によって生成された合成データで拡張する。
最終システムは22言語で0.811のマクロF1を達成し、参加チームの2位にランクインし、3言語で1位、8言語で3位にランクインした。
論文 参考訳（メタデータ） (2026-05-06T17:29:14Z) - From Insight to Action: A Novel Framework for Interpretability-Guided Data Selection in Large Language Models [73.72877445629383]
Interpretability-Guided Data Selection (IGDS) は、まず周波数リコールと干渉フィルタリングによって因果タスクの特徴を識別するフレームワークである。
我々は,数学的推論,要約,翻訳タスクに関するIGDSをGemma-2,LLaMA-3.1,Qwen3モデルで検証する。
論文 参考訳（メタデータ） (2026-04-28T03:16:24Z) - NeuroProlog: Multi-Task Fine-Tuning for Neurosymbolic Mathematical Reasoning via the Cocktail Effect [0.12277343096128711]
大規模言語モデル (LLM) は自然言語処理において高い性能を発揮するが、数学的推論では信頼性に欠ける。
我々は,数学用語の問題を実行可能なPrologプログラムにコンパイルすることで,検証可能な推論を保証する,ニューロシンボリックなフレームワークである textbfNeuroProlog を提案する。
論文 参考訳（メタデータ） (2026-03-03T01:26:42Z) - Binary Token-Level Classification with DeBERTa for All-Type MWE Identification: A Lightweight Approach with Linguistic Enhancement [1.8429656136522097]
本稿では,バイナリトークンレベルの分類,言語的特徴の統合,データ拡張を組み合わせた,MWE識別のための包括的アプローチを提案する。
我々のDeBERTa-v3大規模モデルは、CoAMデータセット上で69.8%のF1を達成し、このデータセットで最高の結果(Qwen-72B, 57.8% F1)を12ポイント上回り、パラメータは165倍少ない。
論文 参考訳（メタデータ） (2026-01-27T08:42:54Z) - JT-DA: Enhancing Data Analysis with Tool-Integrated Table Reasoning Large Language Models [58.408398005993455]
JT-DA-8Bは、様々な現実世界のシナリオにまたがる複雑なテーブル推論タスクのために設計された、特殊な大規模言語モデルである。
我々は、29のパブリックテーブルQAデータセットと300万のテーブルを集約することにより、34の明確に定義されたテーブル推論タスクを備えた包括的で多様なトレーニングコーパスを構築した。
実験結果から,JT-DA-8Bは様々なテーブル推論タスクにおいて高い性能を示すことがわかった。
論文 参考訳（メタデータ） (2025-12-07T14:29:23Z) - Evaluating Large Language Models for Workload Mapping and Scheduling in Heterogeneous HPC Systems [0.03819617852128932]
大規模言語モデル(LLM)は、その推論能力のためにますます研究されている。
本研究は、代表的ワークロードマッピングとスケジューリング問題に基づいて、利用可能なLLMを21個評価する。
論文 参考訳（メタデータ） (2025-11-04T03:04:28Z) - Nemotron-CrossThink: Scaling Self-Learning beyond Math Reasoning [66.43194385702297]
大規模言語モデル(LLM)は、特に強化学習(RL)を通じて強化された場合、強力な推論能力を示している。
NEMOTRON-CROSSTHINKは、多領域コーパスを体系的に組み込んだフレームワークであり、合成および実世界の問合せ対を含む。
論文 参考訳（メタデータ） (2025-04-15T21:37:13Z) - MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。
既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。
そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
論文 参考訳（メタデータ） (2024-12-06T18:14:24Z) - Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳（メタデータ） (2024-06-07T11:37:45Z) - Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。
Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
論文 参考訳（メタデータ） (2024-04-02T16:25:30Z) - Assessing and Enhancing the Robustness of Large Language Models with Task Structure Variations for Logical Reasoning [25.496627355906966]
我々は「ReClor-plus」、「LogiQA-plus」、「LogiQAv2-plus」という3つの新しい論理推論データセットを開発した。
実験により、これらの単純な拡張がモデルの性能を著しく損なうことが示されている。
微調整とプロンプトのためのロジック駆動型データ拡張の適用は、識別モデルと生成モデルの両方における一般化を促進することができる。
論文 参考訳（メタデータ） (2023-10-13T22:29:15Z) - UU-Tax at SemEval-2022 Task 3: Improving the generalizability of
language models for taxonomy classification through data augmentation [0.0]
本稿では,SemEval-2022 Task 3 PreTENS: Presuposed Taxonomies Evaluation Neural Network Semanticsについて述べる。
タスクの目標は、文に含まれる名詞対の間の分類学的関係によって、ある文が受け入れられているか否かを識別することである。
より優れた分類のための言語モデルの堅牢性と一般化性を高める効果的な方法を提案する。
論文 参考訳（メタデータ） (2022-10-07T07:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。