論文の概要: NLPCC 2026 Task 10: Citation-Level Faithfulness Verification with DeBERTa Ensembles and Class-Wise Calibration
- arxiv url: http://arxiv.org/abs/2609.22774v1
- Date: Sat, 19 Sep 2026 05:18:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.549357
- Title: NLPCC 2026 Task 10: Citation-Level Faithfulness Verification with DeBERTa Ensembles and Class-Wise Calibration
- Title（参考訳）: NLPCC 2026 Task 10: Citation-Level Faithfulness Verification with DeBERTa Ensembles and Class-Wise Calibration
- Abstract要約: 本稿では, NLPCC 2026 Shared Task 10 のトラック2におけるAI支援科学報告における引用レベル忠実度に関するシステムを提案する。
原子科学的な主張と引用された論文の構造化された全文を前提として、4方向の関係ラベルと最大3つの証拠パラグラフの識別子が必要である。
ラベルヘッドは、段落を意識したクロスエンコーダと文書レベルのDeBERTa-large分類器とをアンサンブルし、次いでクラスワイドな判定校正を行う。
- 参考スコア（独自算出の注目度）: 10.843404512780443
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents our system for Track 2 of the NLPCC 2026 Shared Task 10 on citation-level faithfulness in AI-assisted scientific reporting. Given an atomic scientific claim and the structured full text of its cited paper, the task requires both a four-way relation label and up to three evidence paragraph identifiers. The label head ensembles a paragraph-aware cross-encoder with a document-level DeBERTa-large classifier, followed by class-wise decision calibration. Probability-level fusion is motivated by an out-of-fold tendency to over-predict Topical Match. The evidence head combines paragraph scores from top-20 and top-30 joint models with BM25 scores. The system runs fully offline without external retrieval or LLM prompting. On the final leaderboard, our system achieved 82.9898 overall (89.5491 Macro-F1 and 76.4305 Joint@3), ranking second in Track 2. Ablations and error analysis show that model complementarity and calibration drive the label gains. Gold-evidence inference changes label Macro-F1 negligibly, whereas evidence ranking remains important for Joint@3.
- Abstract（参考訳）: 本稿では, NLPCC 2026 Shared Task 10 のトラック2におけるAI支援科学報告における引用レベル忠実度に関するシステムを提案する。
原子科学的な主張と引用された論文の構造化された全文を前提として、4方向の関係ラベルと最大3つの証拠パラグラフの識別子が必要である。
ラベルヘッドは、段落を意識したクロスエンコーダと文書レベルのDeBERTa-large分類器とをアンサンブルし、次いでクラスワイドな判定校正を行う。
確率レベルの融合は、トピカルマッチを過度に予測するアウト・オブ・フォールドの傾向によって動機付けられる。
このエビデンスヘッドは、トップ20とトップ30のジョイントモデルとBM25のスコアを組み合わせている。
システムは外部検索やLLMプロンプトなしで完全にオフラインで動作する。
最終リーダーボードでは、総合82.9898(89.5491 Macro-F1と76.4305 Joint@3)を達成し、トラック2で2位となった。
アブレーションとエラー解析により、モデルの相補性とキャリブレーションがラベルゲインを駆動することが示された。
ゴールドエビデンス推論はマクロF1というラベルを無視的に変更している。
関連論文リスト
- Automated Detection and Structuring of Social Tipping Point Evidence in Climate related Documents: A Modular AI Framework [2.157504175521934]
本稿では,トランスフォーマーをベースとしたオープンかつモジュラーなフレームワークを提案する。
フレームワークは、セグメンテーションのためのDistilBERT境界分割器、検出のための反復的に拡張されたRoBERTa分類器、検出された各パスを明確化するために書き直したMistral 7Bモデル、および5つの発行されたソーシャルチップポイント基準に対してパスを評価するLLaMA 3.23Bモデルという、単一のデプロイ可能なワークフローに5つのコンポーネントを結合する。
論文 参考訳（メタデータ） (2026-09-10T22:21:16Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - SciTrue: Reliable Scientific Claim Validation with Frontier and Open Language Models at the NTCIR SciClaimEval Task [15.259880314614117]
11のフロンティアとオープンなマルチモーダルモデルを1つの正直なサンプル・プロトコルでベンチマークする。
SciTrueは4つのエビデンスカテゴリ/サブタスクの組み合わせのうち3つに明確なマージンを付けている。
論文 参考訳（メタデータ） (2026-09-01T03:30:45Z) - Deep Academic Survey: Stateful Agentic Closed-Loop Paradigm for Academic Survey Automation [60.151050016855834]
DASは出版指向の学術調査を作成するためのステートフルなエージェント・フレームワークである。
その鍵となる考え方は、再利用可能な紙分析とトピック固有の原稿構築を分離することである。
DASは4つの次元で最高点に達し、総合スコアは4.34であり、最強の競争相手は4.03である。
論文 参考訳（メタデータ） (2026-08-18T17:29:00Z) - HNR-DAC: Hard-Negative Reranking and Distribution-Aligned Classification for Scientific Claim Verification [19.757139845905098]
HNR-DACは,実際に遭遇するケースに対して,各ステージをトレーニングする2段階のフレームワークである。
NLPCC 2026 Task 10 Track 2では97.21% Hit@3、95.79% Macro-F1、94.47% Joint@3、平均スコア95.13%となる。
論文 参考訳（メタデータ） (2026-08-07T13:19:40Z) - BioSentinel at EXIST 2026: Soft-Label Optimization with XLM-RoBERTa for Sexism Intent Classification in Memes [0.8749675983608171]
本稿では,バイオセンチネルチームによるEXIST 2026 Task 2.2: Source Intention in Memesへの参加について述べる。
この課題には、ミームの背後にあるコミュニケーション意図を、直接的、判断的、あるいは(非性的な)ノーとして分類する必要がある
ソフトアノテータ分布にKL分散を組み込んだ複合損失関数を用いて訓練したxlm-roberta-base(270Mパラメータ)に基づくテキスト中心のアプローチを提案する。
論文 参考訳（メタデータ） (2026-07-27T08:18:05Z) - Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist [69.81453995715673]
既存の忠実度ベンチマークは単純な原子命令に依存している。
本稿では,実アリーナT2Iログから抽出した310プロンプトの応力ベンチマークであるArena-T2I Hardを紹介する。
本稿では,各プロンプトをイエス/ノー質問のDAGに分解し,失敗する両親の子孫をゼロにする依存性対応チェックリスト報酬を提案する。
論文 参考訳（メタデータ） (2026-06-30T14:17:05Z) - ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence [57.37494162084001]
チェーン・オブ・エビデンス(Chain-of-Evidence, CoE)は、すべてのクレームがエビデンス・ソースにトレース可能であることを要求する検証可能なフレームワークである。
CoE Auditはポストホック監査であり、スコア検証、仕様違反、参照検証、メソッドコードアライメントという4つの整合性チェックが全システムに均一に適用される。
論文 参考訳（メタデータ） (2026-05-25T21:30:27Z) - SEER: Spectral Entropy Encoding of Roles for Context-Aware Attention-Based Design Pattern Detection [0.0]
本稿では,ソースコードからGang of Four(GoF)デザインパターンを検出するために,従来のContext Is All You Needのアップグレード版を提案する。
SEERはこれらの制限に、(i)各クラスの相互作用グラフのラプラシアンスペクトルからメンバーごとのロール埋め込みを導出するスペクトルエントロピーロールエンコーダ、(ii)メソッドカテゴリに経験的校正期間を割り当てる時間重呼出コンテキストの2つの原則で対処する。
PyDesignNet上のSEER(1,832ファイル、35,000のシーケンス、23のGoFパターン)を評価し、以前のシステムよりも一貫した利得を観察する。
論文 参考訳（メタデータ） (2026-01-19T19:13:40Z) - RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳（メタデータ） (2026-01-14T11:37:00Z) - News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。
我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
論文 参考訳（メタデータ） (2022-09-26T01:04:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。