論文の概要: Reproducing and Stress-Testing Two Approaches to LLM Reasoning Reliability: Test-Time Probability Aggregation and Logic-Representation Editing
- arxiv url: http://arxiv.org/abs/2608.08514v1
- Date: Sun, 09 Aug 2026 06:22:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.847571
- Title: Reproducing and Stress-Testing Two Approaches to LLM Reasoning Reliability: Test-Time Probability Aggregation and Logic-Representation Editing
- Title（参考訳）: LLM推論信頼性の再現とストレステスト:テスト時間確率アグリゲーションと論理表現編集
- Abstract要約: 大規模言語モデル(LLM)をより信頼性の高い推論を行うための2つの手法を独立に再現し、それらをドメインやモデル間でストレステストする。
第1のRPCは、推論時のトークン確率と自己整合性を集約する。第2のLCFは、隠れた状態を"content"と"logic"に分割するプロジェクタを訓練し、論理部分を有効な領域に向けて編集する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We independently reproduce two recent methods for making large language model (LLM) reasoning more reliable, and stress-test them across domains and models (RPC across four new task domains with Qwen3-8B, LCF across four 7-8B models). The first, RPC, aggregates token probabilities and self-consistency at inference; the second, LCF, trains projectors that split hidden states into "content" and "logic" and edits the logic part toward a valid region. Validating such reliability claims matters because the original evaluations are run by each method's own authors and were never independently reproduced or stress-tested across models and domains, and LCF shipped no public code. We re-run RPC's published-path aggregation and re-implement LCF's projector, contrastive, and intervention pipeline, then extend both to text-to-SQL, legal extraction, fallacy identification, and precedent grading, and probe LCF's representation directly. RPC reproduces the original grid exactly on the authors' released reasoning paths; on four new domains its edge over self-consistency is never significant (ties or small mixed differences, paired p >= 0.28), and on BIRD, the one domain where we vary the budget, the edge grows with K as predicted but its largest gap (+2.5 accuracy at K=32, p=0.16) reverses to -0.25 when we enlarge the sample to n=200. LCF's logic-validity direction is real but weak (0.82 separability at the single best sub-layer versus 0.95 for a semantic-attribute control); its one positive effect (Qwen3 $Δ$Prob) is not significant (p=0.56), while it significantly reduces $Δ$Prob on two of the other three models.
- Abstract（参考訳）: 大規模言語モデル(LLM)をより信頼性の高い推論を行うための2つの新しい手法を独立に再現し、それらをドメインとモデルにまたがってストレステストする(4つの新しいタスクドメインにQwen3-8B、LCFを7-8Bモデルに分割した4つの新しいタスクドメインにRPC)。
第1のRPCは、推論時のトークン確率と自己整合性を集約する。第2のLCFは、隠れた状態を"content"と"logic"に分割するプロジェクタを訓練し、論理部分を有効な領域に向けて編集する。
このような信頼性の検証は、元の評価がそれぞれのメソッドの作者によって実行され、モデルやドメイン間で独立に複製されたり、ストレステストされたりすることはなく、LCFは公開コードを出荷しなかったからである。
RPCのパブリッシュパスアグリゲーションを再実行し、LCFのプロジェクタ、コントラスト、介入パイプラインを再実装し、テキストからSQLへの拡張、法的抽出、誤検出、前例のグレーディング、LCFの表現を直接調査します。
RPCは、著者がリリースした推論経路を正確に再現する: 4つの新しいドメインでは、自己整合性に対するエッジは、決して重要ではない(関係または小さな混合差、ペア付き p >= 0.28)。
LCFの論理値方向は真だが弱い(セマンティック属性制御では0.82の分離性、セマンティック属性制御では0.95の分離性)が、その1つの正の効果(Qwen3$Δ$Prob)は重要ではない(p=0.56)。
関連論文リスト
- Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文 参考訳（メタデータ） (2026-08-17T09:53:27Z) - A Unified Model for Cross-Domain Clone Detection via Model Merging [9.757638656919832]
現在のディープラーニング検出器は、トレーニング分布の外で大幅に劣化している。
トレーニングされたチェックポイントのみで動作するポストホック手法のファミリーであるモデルマージについて検討する。
同じベースであるTIESマージは、2つのモデルファミリーと3つのランダムシードで検証された効果的なクロスドメイン検出器を生成する。
論文 参考訳（メタデータ） (2026-08-04T20:32:28Z) - Distribution-First Population Simulation: Collapse, Calibration, and Recall in Non-WEIRD LLM Persona Modeling [0.0]
合成親和性ツールは、独立大規模言語モデル(LLM)エージェントとして各個人を動作させる。
このパラダイムには基本的な障害モードがあることを示し、分散優先の修正をそれに対して設定する。
論文 参考訳（メタデータ） (2026-07-17T15:45:57Z) - The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive [0.0]
CPUのみのスコアリングプリミティブはトークン当たり2.6マイクロ秒で動作する。
トークンのランク周波数分布は同じ2パラメータのMandelbrotランキング分布に収束する。
利用可能な場合にモデルログの確率で構成し、クローズドAPIで使用可能なランクオンリーモードに分解するシングルパススコアリングプリミティブを導出する。
論文 参考訳（メタデータ） (2026-04-28T13:35:31Z) - REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。
我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-03-17T21:19:08Z) - $V_1$: Unifying Generation and Self-Verification for Parallel Reasoners [69.66089681814013]
$V_$は、効率的なペアワイドランキングを通じて生成と検証を統合するフレームワークである。
V_$-Inferはポイントワイド検証でPass@1を最大10%改善する。
V_$-PairRLは、標準のRLとポイントワイドのジョイントトレーニングよりも、テストタイムのスケーリングが7ドル--9%で向上する。
論文 参考訳（メタデータ） (2026-03-04T17:22:16Z) - A Theoretical Study on Bridging Internal Probability and Self-Consistency for LLM Reasoning [31.861874030715953]
サンプリングに基づくテスト時間スケーリング手法を解析するための最初の理論的枠組みを提供する。
RPCは2つの重要なコンポーネント、パープレキシティ・一貫性と推論・プルーニングを通じて、理論的な洞察を活用するハイブリッド手法です。
RPCは、信頼性を向上するだけでなく、サンプリングコストを50%削減しながら、自己整合性に匹敵する推論性能を達成する。
論文 参考訳（メタデータ） (2025-10-17T08:59:30Z) - Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。
我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
論文 参考訳（メタデータ） (2025-10-02T15:22:28Z) - Rethinking Reward Models for Multi-Domain Test-Time Scaling [91.76069784586149]
従来の作業では、プロセス報酬モデル(PRM)が最終回答のみを評価する結果報酬モデル(ORM)を上回っていると仮定しています。
14の異なる領域にまたがる4つの報酬モデル変種を統一的に評価する。
LLMの自動ラベル付けからラベルノイズを継承し,長い推論軌跡の評価に難渋するPRM方式の段階的スコアリングが原因と考えられる。
論文 参考訳（メタデータ） (2025-10-01T04:21:14Z) - SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。
最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。
我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
論文 参考訳（メタデータ） (2025-04-07T02:42:07Z) - Theoretically Achieving Continuous Representation of Oriented Bounding Boxes [64.15627958879053]
本論文は,オブジェクト指向境界ボックス表現における不連続性を完全に解決しようとする試みである。
本研究では,既存の検出器に容易に統合可能なCOBB(Continuous OBB)という新しい表現法を提案する。
OOD評価のためのオープンソースのディープラーニングフレームワークJittorの検出ツールボックスJDetをベースとした,モジュール化されたベンチマークを開発した。
論文 参考訳（メタデータ） (2024-02-29T09:27:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。