論文の概要: ThinknCheck: Grounded Claim Verification with Compact, Reasoning-Driven, and Interpretable Models
- arxiv url: http://arxiv.org/abs/2604.01652v1
- Date: Thu, 02 Apr 2026 05:50:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-03 14:21:10.463483
- Title: ThinknCheck: Grounded Claim Verification with Compact, Reasoning-Driven, and Interpretable Models
- Title（参考訳）: ThinknCheck: コンパクトで推論駆動、解釈可能なモデルによる根拠付きクレーム検証
- Abstract要約: ThinknCheckは、まず短い構造化された理性を生成し、次に二項の検証を行う、根拠付きクレーム検証器である。
LLMAggreFactでは、ThinknCheckは78.1の平衡精度(BAcc)を獲得し、MiniCheck-7B (77.4)を7倍のパラメータで上回っている。
SciFactでは、ThinknCheckは64.7 BAccに達し、MiniCheck-7Bよりも14.7の絶対ゲインを得た。
- 参考スコア（独自算出の注目度）: 30.634091769134
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We present ThinknCheck, a 1B-parameter verifier for grounded claim verification that first produces a short, structured rationale and then a binary verdict. We construct LLMAggreFact-Think, a 24.1k reasoning-augmented training set derived from LLMAggreFact, and fine-tune a 4-bit Gemma3 model to follow this format. On LLMAggreFact, ThinknCheck attains 78.1 balanced accuracy (BAcc), surpassing MiniCheck-7B (77.4) with 7x fewer parameters; removing the reasoning step reduces BAcc to 57.5. On SciFact, ThinknCheck reaches 64.7 BAcc, a +14.7 absolute gain over MiniCheck-7B. By contrast, zero-shot chain-of-thought on the base Gemma3-1B harms accuracy relative to direct answers, and preference optimization with a simple format+accuracy reward underperforms supervised reasoning. To probe the latter, we introduce GSMClaims and a domain-specialized variant, ThinknCheck-Science, which improves across benchmarks, including 61.0\% accuracy on GSMClaims. Overall, explicit, supervised reasoning enables compact verifiers that are competitive while remaining resource-efficient and interpretable.
- Abstract（参考訳）: 本稿では,1Bパラメーター検定器であるThinknCheckについて述べる。
LLMAggreFact-Thinkは、LLMAggreFactから派生した24.1kの推論強化トレーニングセットで、4ビットGemma3モデルを微調整してこのフォーマットに従う。
LLMAggreFactでは、ThinknCheckは78.1のバランス精度(BAcc)を獲得し、MiniCheck-7B (77.4)を7倍のパラメータで上回り、BAccを57.5に削減した。
SciFactでは、ThinknCheckは64.7 BAccに達し、MiniCheck-7Bよりも14.7の絶対ゲインを得た。
対照的に、Gemma3-1Bのゼロショット連鎖は直接答えに対する精度を損なうとともに、単純な形式+精度の報酬による好みの最適化は教師付き推論を過小評価する。
後者を探索するために、GSMClaimsとドメイン特化型であるThinknCheck-Scienceを導入し、GSMClaimsの61.0\%の精度を含むベンチマークで改善した。
全体として、明示的で教師付き推論は、リソース効率と解釈性を維持しながら競争力のあるコンパクトな検証を可能にする。
関連論文リスト
- The Deception Delta: Adversarial Evaluation of LLM-Based Smart Contract Bytecode Forensics [0.0]
大規模な言語モデルは、ブロックチェーンの法医学的な調査でますます使われている。
逆行性騙しは ドレインの検出を 20.0ポイント減らす
モデルは、隠されたドレインメカニズムを正しく記述するが、契約のフレーミングを受け入れ、それを良心として無視する。
論文 参考訳（メタデータ） (2026-09-12T18:45:24Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - Auditable Release Control for Pedagogical Leakage in LLM Tutors [0.0]
大規模な言語モデルチューターは、その開示が承認される前に答えや決定的な推論を明らかにするのに役立ちます。
我々は、この状態および行動依存的障害を、教育的漏洩認識認可として定式化し、完全修復境界を導入する。
グローバルA1は0の多数と54のユーティリティフラグを獲得し、自動安全と実用性において適合Qを上回っている。
論文 参考訳（メタデータ） (2026-08-01T08:24:30Z) - VibeThinker-3B: Exploring the Frontier of Verifiable Reasoning in Small Language Models [10.513021831152363]
本稿では、3Bパラメータを持つコンパクトな密度モデルVibeThinker-3Bについて紹介する。
VibeThinker-3Bは高要求の検証タスクにおいてフロンティアレベルの性能を実現する。
論文 参考訳（メタデータ） (2026-06-15T02:57:19Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳（メタデータ） (2026-06-01T04:43:36Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Gemma 4, Phi-4, and Qwen3: Accuracy-Efficiency Tradeoffs in Dense and MoE Reasoning Language Models [6.396911723204044]
Mixture-of-experts (MoE)言語モデルは、高密度モデルよりも優れた品質と効率のトレードオフをもたらすことがしばしば期待されている。
そこで本研究では,高密度および高密度なMoE設計にまたがる7つの推論指向命令調整モデルのベンチマークを示す。
論文 参考訳（メタデータ） (2026-04-08T12:50:52Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳（メタデータ） (2026-04-03T15:19:46Z) - CoT2-Meta: Budgeted Metacognitive Control for Test-Time Reasoning [17.364321308755667]
CoT2-Metaはトレーニング不要なメタ認知推論フレームワークである。
オブジェクトレベルの連鎖生成と部分的推論軌道に対するメタレベルの制御を組み合わせる。
強いシングルパス、サンプリングベース、検索ベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-03-30T07:59:47Z) - Understanding NPM Malicious Package Detection: A Benchmark-Driven Empirical Analysis [10.599261033874884]
NPMエコシステムは、ソフトウェアサプライチェーン攻撃の主要なターゲットとなっている。
ベンチマークによるNPMマルウェア検出の実証分析を行う。
我々は、11の行動カテゴリと8の回避テクニックを付加した、6,420の悪意のある7,288の良性パッケージのデータセットを構築した。
論文 参考訳（メタデータ） (2026-03-29T07:04:31Z) - Can Small Models Reason About Legal Documents? A Comparative Study [0.0]
大規模言語モデルは法的なアプリケーションには有望であるが、フロンティアモデルのデプロイは、コスト、レイテンシ、データプライバシに関する懸念を提起する。
3つの法的なベンチマークで9つのモデルをテストすることにより,サブ10Bパラメータモデルが実用的な代替手段として機能するかどうかを評価する。
論文 参考訳（メタデータ） (2026-03-26T22:28:20Z) - Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。
提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。
より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
論文 参考訳（メタデータ） (2026-01-06T12:31:51Z) - VeriThinker: Learning to Verify Makes Reasoning Model Efficient [52.74493506816969]
大型推論モデルは、Chain-of-Thought (CoT)推論を用いて複雑なタスクで優れている。
過度に考える傾向は、必然的に長い推論連鎖に繋がる。
我々は,CoT圧縮の新しい手法であるVeriThinkerを紹介する。
論文 参考訳（メタデータ） (2025-05-23T14:17:56Z) - SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。
最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。
我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
論文 参考訳（メタデータ） (2025-04-07T02:42:07Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z) - Making Large Language Models Better Reasoners with Step-Aware Verifier [49.16750018427259]
DIVERSE(Diverse Verifier on Reasoning Step)は、言語モデルの推論能力をさらに強化する新しいアプローチである。
最新の言語モデルであるcode-davinci 上で DIVERSE を評価し,8つの推論ベンチマークのうち6つで新たな最先端結果が得られることを示す。
論文 参考訳（メタデータ） (2022-06-06T03:38:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。