論文の概要: ScienceJudge: Pattern Perturbation Augmentation for Sentence-Level Scientific Claim Verification
- arxiv url: http://arxiv.org/abs/2610.40238v1
- Date: Thu, 29 Oct 2026 15:12:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 07:52:50.677943
- Title: ScienceJudge: Pattern Perturbation Augmentation for Sentence-Level Scientific Claim Verification
- Title（参考訳）: ScienceJudge: 文レベル科学的クレーム検証のためのパターン摂動増強
- Abstract要約: 文レベルの科学的クレーム検証は、AI生成された科学段落の各文が与えられたマルチモーダルエビデンスバンドルによって支持されているかどうかを決定する。
本稿では,エラーをラベル固有の忠実度破壊変換としてモデル化したパターン摂動拡張(PPA)を提案する。
PPAはこれらのパターンをサポート対象のクレームに適用し、制御されたハードネガティブを構築し、パターンレベル、オペレーションレベル、クロスドメイン拡張を通じてカバレッジを拡張する。
- 参考スコア（独自算出の注目度）: 17.019429753210044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sentence-level scientific claim verification determines whether each sentence in an AI-generated scientific paragraph is supported by a given multimodal evidence bundle. Fine-grained reporting errors often preserve fluent and plausible statements while introducing subtle evidence-claim deviations, making them difficult to detect under sparse and imbalanced supervision. We propose Pattern Perturbation Augmentation (PPA), which models reporting errors as label-specific faithfulness breaking transformations and induces reusable error patterns from labeled examples. PPA applies these patterns to supported claims to construct controlled hard negatives and expands their coverage through pattern-level, operation-level, and cross-domain augmentation. Based on these augmented views, we develop ScienceJudge, which integrates PPA-trained vision-language predictors and instruction-guided LLM predictors through class-weighted ensemble inference. On the local development set, ScienceJudge improves the average score from 0.8124 to 0.8692, achieving a Macro-F1 of 0.8466 and a Paragraph Exact Match score of 0.8919. Our submitted system ranks first on the official NLPCC 2026 Task 10 Track 1 leaderboard with a final score of 0.6890.
- Abstract（参考訳）: 文レベルの科学的クレーム検証は、AI生成された科学段落の各文が与えられたマルチモーダルエビデンスバンドルによって支持されているかどうかを決定する。
きめ細かい報告ミスは、しばしば流動的でもっともらしい言明を保存し、微妙な証拠による偏差を導入し、スパースと不均衡な監督の下で検出することが困難になる。
本稿では,エラーをラベル固有の忠実度破壊変換としてモデル化し,ラベル付き例から再利用可能なエラーパターンを誘導するパターン摂動拡張(PPA)を提案する。
PPAはこれらのパターンをサポート対象のクレームに適用し、制御されたハードネガティブを構築し、パターンレベル、オペレーションレベル、クロスドメイン拡張を通じてカバレッジを拡張する。
これらの拡張ビューに基づいて、クラス重み付きアンサンブル推論により、PPA訓練された視覚言語予測器と命令誘導型LLM予測器を統合したScienceJudgeを開発する。
ローカル開発セットでは、ScienceJudge は平均スコアを 0.8124 から 0.8692 に改善し、マクロF1 は 0.8466 、パラグラフ排他スコアは 0.8919 となる。
NLPCC 2026 Task 10 Track 1 のスコアは 0.6890 である。
関連論文リスト
- AlphaBet: Reinforcement Learning for LLM Event Forecasting Agents [23.525762009968066]
AlphaBetは、1つのLarge Language Model(LLM)ポリシーをトレーニングし、複数の事前解決日をまたいで確率を検索、推論、レポートするフレームワークである。
各日時予測は、最終的な結果に対する適切なスコアリングルールによってスコアされ、1つの解決されたイベントが異なる情報状態の下で決定を監督することを可能にする。
実験の結果,GRPOの正規化は固有スコアル性能を低下させるが,最上位の出力精度はほとんど変化しないことがわかった。
論文 参考訳（メタデータ） (2026-10-15T21:54:31Z) - AdaStep: Adaptive Step Credit Weighting for Agentic Reinforcement Learning [41.82249291285459]
本稿では,各グループ由来の局所的優位性が軌道レベルの信号にどの程度強く依存するかを制御する適応ステップ重み付け手法を提案する。
AdaStepは軽量なスカラー計算しか必要とせず、批判もロールアウトも追加のモデル推論も不要である。
ALFWorld、WebShop、ScienceWorldの3つのモデルバックボーンによる実験では、低い計算コストでベースラインよりも一貫した改善が見られた。
論文 参考訳（メタデータ） (2026-10-02T12:38:53Z) - Beyond Representational Similarity: Source-Conditioned Description-Length Gain for Generative Plagiarism Detection and Candidate Source Reranking [8.450813632047902]
大規模言語モデル(LLM)は、学術的整合性とピアレビューに課題を提起する。
生成的盗作検出は 未発見で ほとんど未解決の課題です
確率的予測の記述長に触発されて,出典記述長ゲイン(SCDG)を導入する。
SCDGは、凍結した言語モデルの不審なドキュメントの記述長が$P$であり、候補となるソースが$S$であるのとは対照的な、方向性のないトレーニングなしのフレームワークである。
論文 参考訳（メタデータ） (2026-08-04T16:03:45Z) - Evidence-Grounded Ensemble Diagnosis of 802.11 Packet Captures: A Multi-Stage Pipeline with Deterministic Reliability Scoring [1.0170129555792935]
802.11パケットキャプチャの診断には、専門家のプロトコル知識が必要で、遅く、エンジニア間で一貫性がなく、スケールできない。
LLMベースのアプローチは、キャプチャーから欠落するが製造されたプロトコルイベントを聴取し、未校正された信頼スコアを生成し、テスト中のモデルによって黄金の基準が共同生成されると評価バイアスを被る。
PROBEは3つの障害に対処する多段階パイプラインである。
論文 参考訳（メタデータ） (2026-06-05T03:39:58Z) - Symbolic Augmentation Closes a Canonical-Equivalence Blind Spot in Neural Fact-Checkers [1.7844382164707184]
我々は,5種類の型付き誤り分類と1500石のベンチマークを導入する。
このベンチマークで微調整されたModernBERTエンコーダはマクロF1 = 0.899に達する。
本稿では,ラベル保存型強化トレーニングデータを生成するために,シンボル検証器のモジュールを逆向きに動作させる訓練時フレームワークであるSybolic Augmentationを提案する。
論文 参考訳（メタデータ） (2026-05-19T15:58:00Z) - Can Large Language Models Revolutionize Survey Research? Experiments with Disaster Preparedness Responses [6.004875368104112]
大規模な言語モデル(LLM)は治療として提案されているが、完全なサーベイワークフロー全体にわたる厳密な評価はほとんど残っていない。
アンケート設計, サンプル選択, パイロットテスト, 欠落データ計算, および収集後の分析を対象とする, LLM 統合のための5段階フレームワークを提示し, 評価した。
保護モチベーション理論 (PMT) 制約付き共起知識グラフを導入し, ゼロショット推論, 検索拡張ベースライン, 新規な理論インフォームド変種にまたがる7つのLLM構成を開発する。
論文 参考訳（メタデータ） (2026-05-19T00:58:36Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。
実際には、これは相関した推論パターンと同期された障害として現れます。
ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
論文 参考訳（メタデータ） (2026-04-08T23:32:06Z) - Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。
累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。
主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
論文 参考訳（メタデータ） (2026-02-10T21:08:53Z) - Benchmarking Corruption Robustness of LVLMs: A Discriminative Benchmark and Robustness Alignment Metric [49.393713730706445]
汚損の堅牢性を評価するための識別サンプルを強調したベンチマークであるBench-Cを紹介する。
本稿では,ロバストネスアライメントスコア(RAS)を提案する。
論文 参考訳（メタデータ） (2025-11-24T12:07:56Z) - Relative Scaling Laws for LLMs [91.73497548097775]
スケーリング法則は、追加のデータ、パラメータ、計算によって言語モデルがどのように改善されるかを記述する。
相対的なスケーリング法則を導入し、テスト分布間のパフォーマンスギャップをスケールで追跡する。
これらの結果は、スケーリングは全体的なパフォーマンスを改善するが、普遍的等化器ではないことを示している。
論文 参考訳（メタデータ） (2025-10-28T16:55:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。