論文の概要: Symbolic Augmentation Closes a Canonical-Equivalence Blind Spot in Neural Fact-Checkers
- arxiv url: http://arxiv.org/abs/2607.16212v1
- Date: Tue, 19 May 2026 15:58:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.035063
- Title: Symbolic Augmentation Closes a Canonical-Equivalence Blind Spot in Neural Fact-Checkers
- Title(参考訳): シンボリック増強はニューラルファクトチェッカーにおける標準等価ブラインドスポットを閉鎖する
- Abstract要約: 我々は,5種類の型付き誤り分類と1500石のベンチマークを導入する。
このベンチマークで微調整されたModernBERTエンコーダはマクロF1 = 0.899に達する。
本稿では,ラベル保存型強化トレーニングデータを生成するために,シンボル検証器のモジュールを逆向きに動作させる訓練時フレームワークであるSybolic Augmentationを提案する。
- 参考スコア(独自算出の注目度): 1.7844382164707184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models hallucinate numbers and units when summarizing scientific text, a failure mode that can silently invert a scientific claim. We recast the detection of such errors as typed verification: we introduce a five-class typed-quantity error taxonomy and a 1500-item benchmark, rewritten from PMC and arXiv sources and labeled by two independent LLM annotators with adjudication (Krippendorff's alpha = 0.882). A ModernBERT encoder fine-tuned on this benchmark reaches macro-F1 = 0.899, far above any off-the-shelf neural fact-checker, yet four probes expose a sharp structural blind spot: on canonical-equivalent rewrites of physically equivalent quantities (e.g., 95°C and 368.15 K) its accuracy collapses to 36.5%. We propose Symbolic Augmentation, a training-time framework that runs the modules of a symbolic verifier in reverse to generate label-preserving augmented training data. The augmentation lifts canonical-equivalence robustness to 98.2% while slightly improving in-distribution accuracy (macro-F1: 0.899 to 0.902); the augmented encoder matches a closed-frontier LLM at no inference cost and transfers to an external benchmark (SciFact-Open binary macro-F1: 0.791 to 0.828). Two negative results sharpen the claim: symbolic features as auxiliary encoder inputs add nothing, and symbolic silver labels scale negatively under teacher noise. Together these results identify training-time augmentation as the right integration point between symbolic and learned components.
- Abstract(参考訳): 大規模言語モデルは、科学的テキストを要約する際に数と単位を幻覚させる。
PMC および arXiv ソースから書き直された 5 種類の型付き量子誤り分類と 1500-item ベンチマークを導入し,偏見を持つ 2 つの独立 LLM アノテーション (Krippendorff's alpha = 0.882) でラベル付けした。
このベンチマークで微調整されたModernBERTエンコーダはマクロF1 = 0.899に達するが、4つのプローブは鋭い構造的な盲点を露呈する: 物理的に等価な量(例えば 95°C と 368.15 K)の標準等価な書き換えでは、精度は 36.5% に低下する。
本稿では,ラベル保存型強化トレーニングデータを生成するために,シンボル検証器のモジュールを逆向きに動作させる訓練時フレームワークであるSybolic Augmentationを提案する。
拡張されたエンコーダは、推論コストなしでクローズド・フロントのLCMと一致し、外部ベンチマークに転送する(SciFact-Open binary macro-F1: 0.791 to 0.828)。
補助エンコーダ入力としての記号的特徴は、何も加えず、シンボリックシルバーラベルは教師の騒音下で負にスケールする。
これらの結果は、トレーニング時間増強を象徴的コンポーネントと学習的コンポーネントの適切な統合ポイントとして特定する。
関連論文リスト
- Empirical Evaluation of Membership Inference Attacks on NLP Text Classifiers: A Baseline Study on SST-2 [0.0]
メンバーシップ推論攻撃(MIA)は、モデルをトレーニングするために特定のレコードが使用されたかどうかを判断しようとする。
本稿では,GLUE SST-2感情データセットを用いたテキスト分類におけるメンバシップ推定脆弱性のベンチマークを提案する。
論文 参考訳(メタデータ) (2026-09-10T00:53:20Z) - Support Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions [87.95757610455173]
我々は、x演算グリッドとSO-OPFをサポートするために、インジェクティブに整合した残余セルアウトプロトコルを導入する。
グリッドが分かっているときにキャリアがホールドアウトバインディングを構成するかどうか、フラットなセルラベルからグリッドを回収できるかどうかという2つの質問を分離する。
論文 参考訳(メタデータ) (2026-08-06T15:38:55Z) - Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion [46.262619407930266]
我々は、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器をトレーニングする。
その結果得られたモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、おおよそdoubles recall@5である。
次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。
論文 参考訳(メタデータ) (2026-07-28T10:59:04Z) - Closing the Modality Gap in Zero-Shot HAR: Contrastive Training and Separability-Optimized Prototypes on IMU Data [0.0]
PAMAP2データセット上で,3つの推論手法と2つのトレーニングパイプラインを組み合わせた7つの構成を評価する。
モダリティギャップは,目的によって支配される訓練時間現象であることがわかった。
また、テストセットのクラス分布が不均衡である場合、全体的な精度が誤解を招く一次指標であることを実証する。
論文 参考訳(メタデータ) (2026-06-09T12:39:41Z) - From Theory to Decision Rule: Calibrating the Noisy-Label Crossover for Vision-Language Model Weak Supervision Across Three Medical-Imaging Benchmarks [41.99844472131922]
基礎モデル弱いラベルに対するベンチマークキャリブレーションを提供する。
理論によって予測される交差は、PCAMではng100、ISICでは20-50、NIH-CXRでは250-500である。
NIH-CXR上の構造付きvs-ランダムノイズ符号フリップは、境界のレートのみの定式化が不完全であることを示す。
論文 参考訳(メタデータ) (2026-05-23T23:15:07Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳(メタデータ) (2026-05-20T19:08:38Z) - SERSEM: Selective Entropy-Weighted Scoring for Membership Inference in Code Language Models [1.327416973220814]
記憶信号の増幅のために非形式的統語的ボイラプレートを抑える新しいホワイトボックス攻撃フレームワークであるSERSEMを提案する。
以上の結果から,人間中心の符号化異常に注目することは,列レベルの確率平均よりも格段に頑健な暗記の指標となることが示唆された。
論文 参考訳(メタデータ) (2026-04-01T17:03:58Z) - BiGain: Unified Token Compression for Joint Generation and Classification [47.040577759493004]
BiGainは、高速拡散モデルにおける分類を改善しながら、生成品質を保ちながら、トレーニング不要でプラグアンドプレイのフレームワークである。
我々の重要な洞察は周波数分離であり、これは大域的な意味論から細部を解き、生成的忠実さと識別的有用性の両方を尊重する圧縮を可能にする。
本分析は,拡散モデルにおけるトークン圧縮のための信頼性の高い設計規則として,高頻度の細部と低周波数のセマンティクスを保存したスペクトル保持が重要であることを示す。
論文 参考訳(メタデータ) (2026-03-12T17:55:53Z) - Probing for Knowledge Attribution in Large Language Models [45.47366023067617]
大規模言語モデル(LLM)は、しばしば流動的だが根拠のないクレームや幻覚を生成する。
適切な緩和は、モデルの答えがプロンプトまたは内部の重みに基づいているかどうかを知ることに依存する。
モデル隠れ表現に基づいて訓練された単純な線形分類器であるプローブは、帰納的帰属を確実に予測できることを示す。
論文 参考訳(メタデータ) (2026-02-26T09:21:12Z) - Predictive Coding and Information Bottleneck for Hallucination Detection in Large Language Models [0.8552050317027305]
大規模言語モデル(LLM)における幻覚は、高レベルのデプロイメントにとって重要な障壁である。
ニューロサイエンスにインスパイアされた信号設計と教師付き機械学習を組み合わせたハイブリッド検出フレームワークである[Model Name]を紹介する。
論文 参考訳(メタデータ) (2026-01-22T05:00:21Z) - SEER: Spectral Entropy Encoding of Roles for Context-Aware Attention-Based Design Pattern Detection [0.0]
本稿では,ソースコードからGang of Four(GoF)デザインパターンを検出するために,従来のContext Is All You Needのアップグレード版を提案する。
SEERはこれらの制限に、(i)各クラスの相互作用グラフのラプラシアンスペクトルからメンバーごとのロール埋め込みを導出するスペクトルエントロピーロールエンコーダ、(ii)メソッドカテゴリに経験的校正期間を割り当てる時間重呼出コンテキストの2つの原則で対処する。
PyDesignNet上のSEER(1,832ファイル、35,000のシーケンス、23のGoFパターン)を評価し、以前のシステムよりも一貫した利得を観察する。
論文 参考訳(メタデータ) (2026-01-19T19:13:40Z) - Synergistic Feature Fusion for Latent Lyrical Classification: A Gated Deep Learning Architecture [0.0]
本研究は,複雑で高次元の深い意味的特徴を,論理的内容分類のための単純かつ解釈可能な構造的手がかりと統合するという課題に対処する。
低次元補助的特徴(Fstruct)を用いた意味-BERT埋め込み(Fdeep)を修飾するためのゲート機構を利用したディープラーニングモデルであるSFLアーキテクチャを提案する。
SFLモデルは精度0.9894、マクロF1スコア0.9894を達成し、特徴連結を用いた総合ランダムフォレスト(RF)ベースラインを上回った。
論文 参考訳(メタデータ) (2025-11-11T21:12:52Z) - Mint: A Simple Test-Time Adaptation of Vision-Language Models against Common Corruptions [44.25678062208464]
劣化がCLIPのイメージ埋め込みにどのように影響するかを考察し,拡散崩壊と呼ばれる一貫した現象を明らかにする。
この崩壊は性能劣化と密接に結びついており,クラス間分散は分類精度と強く相関している。
擬似ラベルに基づくクラス間分散を最大化する簡易なテスト時間適応法Mintを提案する。
論文 参考訳(メタデータ) (2025-10-25T02:55:08Z) - Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。
予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。
提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
論文 参考訳(メタデータ) (2024-06-20T18:35:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。