論文の概要: OSCAR: Orchestrated Self-verification and Cross-path Refinement
- arxiv url: http://arxiv.org/abs/2604.01624v1
- Date: Thu, 02 Apr 2026 05:02:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-03 14:21:10.3678
- Title: OSCAR: Orchestrated Self-verification and Cross-path Refinement
- Title(参考訳): OSCAR: 自己組織化とクロスパスリファインメントのオーケストレーション
- Authors: Yash Shah, Abhijit Chakraborty, Naresh Kumar Devulapally, Vishnu Lokhande, Vivek Gupta,
- Abstract要約: 拡散言語モデルは、推論時間制御のための自然なハンドラを提供する、発音軌道を公開する。
我々はコミットメントの不確実性ローカライゼーションを定式化し、デノベーション軌道が与えられた場合、クロスチェーンエントロピーが教師なししきい値を超えるトークンの位置を特定する。
我々はこの定式化を運用するトレーニング不要な推論時間フレームワークOSCARを紹介する。
- 参考スコア(独自算出の注目度): 7.202012136912518
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion language models (DLMs) expose their denoising trajectories, offering a natural handle for inference-time control; accordingly, an ideal hallucination mitigation framework should intervene during generation using this model-native signal rather than relying on an externally trained hallucination classifier. Toward this, we formulate commitment uncertainty localization: given a denoising trajectory, identify token positions whose cross-chain entropy exceeds an unsupervised threshold before factually unreliable commitments propagate into self-consistent but incorrect outputs. We introduce a suite of trajectory-level assessments, including a cross-chain divergence-at-hallucination (CDH) metric, for principled comparison of localization methods. We also introduce OSCAR, a training-free inference-time framework operationalizing this formulation. OSCAR runs N parallel denoising chains with randomized reveal orders, computes cross-chain Shannon entropy to detect high-uncertainty positions, and then performs targeted remasking conditioned on retrieved evidence. Ablations confirm that localization and correction contribute complementary gains, robust across N in {4, 8, 16}. On TriviaQA, HotpotQA, RAGTruth, and CommonsenseQA using LLaDA-8B and Dream-7B, OSCAR enhances generation quality by significantly reducing hallucinated content and improving factual accuracy through uncertainty-guided remasking, which also facilitates more effective integration of retrieved evidence. Its native entropy-based uncertainty signal surpasses that of specialized trained detectors, highlighting an inherent capacity of diffusion language models to identify factual uncertainty that is not present in the sequential token commitment structure of autoregressive models. We are releasing the codebase1 to support future research on localization and uncertainty-aware generation in DLMs.
- Abstract(参考訳): 拡散言語モデル(DLMs)は、推論時間制御の自然なハンドルを提供することによって、その認知的軌跡を公開している。
この目的のために、コミットメントの不確実性ローカライゼーションを定式化し、デノベーション軌跡を与えられた場合、実際に信頼できないコミットメントが自己整合的であるが誤った出力に伝播する前に、クロスチェーンエントロピーが教師なししきい値を超えるトークンの位置を特定する。
本稿では,局所化手法の原理的比較のために,CDH(クロスチェイン・ダイバージェンス・アット・ハロシン化)計量を含む軌道レベルの評価スイートを紹介する。
また、この定式化を運用するトレーニング不要な推論時間フレームワークであるOSCARについても紹介する。
OSCARは無作為な公開順序でN個の並列denoising chainを実行し、クロスチェーンのShannonエントロピーを計算し、高い不確実性位置を検出し、取得されたエビデンスに基づいてターゲットリマッシングを実行する。
アブレーションは、局所化と補正が N をまたいだ {4, 8, 16} における補的ゲインに寄与することを確認する。
LLaDA-8BとDream-7Bを用いたTriviaQA,HotpotQA,RAGTruth,CommonsenseQAでは,幻覚コンテンツを大幅に削減し,不確実性誘導による事実精度の向上によって生成品質を向上させるとともに,得られた証拠のより効果的な統合を促進する。
固有エントロピーに基づく不確実性信号は、専門的な訓練された検出器を超越し、自己回帰モデルのシーケンシャルトークンコミットメント構造に存在しない事実不確実性を特定するために拡散言語モデルの固有の能力を強調している。
DLMにおけるローカライゼーションと不確実性を考慮した生成に関する今後の研究を支援するために、コードベース1をリリースする。
関連論文リスト
- Neural Uncertainty Principle: A Unified View of Adversarial Fragility and LLM Hallucination [60.197429875410286]
大規模言語モデルにおける視覚と幻覚の対立的脆弱性は、伝統的に別の問題と見なされている。
損失誘起状態下でのニューラル不確実性原理(NUP)の定式化により, ほぼバウンド状態においては, さらなる圧縮は感度分散の増大を伴うことが判明した。
視覚では、高度に結合したコンポーネントをマスキングすることで、コストのかかる敵の訓練なしに堅牢性を向上させる。
言語では、任意の応答トークンを生成する前に、同じプレフィルステージプローブが幻覚リスクを検出する。
論文 参考訳(メタデータ) (2026-03-20T02:07:10Z) - Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models [60.25003813232697]
本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。
ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。
複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
論文 参考訳(メタデータ) (2026-03-18T12:54:50Z) - ThreatFormer-IDS: Robust Transformer Intrusion Detection with Zero-Day Generalization and Explainable Attribution [0.0]
IoTおよび産業ネットワークの侵入検出には、進化するトラフィックと限定されたラベルの下で信頼性を維持しながら、低い偽陽性率で稀な攻撃を検出できるモデルが必要である。
本研究では,トランスフォーマーをベースとしたシーケンシャルモデリングフレームワークThreatFormer-IDSを提案する。
時系列評価を備えたToN IoTベンチマークでは、ThreatFormer-IDSがAUCROC 0.994、AUC-PR 0.956、Recall@1%FPR 0.910を達成した。
論文 参考訳(メタデータ) (2026-02-26T23:20:42Z) - Drax: Speech Recognition with Discrete Flow Matching [26.991421132974097]
拡散およびフローベース非自己回帰モデル(NAR)は、大規模言語モデリングにおいて強い将来性を示している。
自動音声認識(ASR)のための離散フローマッチングフレームワークDraxを提案する。
中間推定誤差に類似したトラジェクトリを通してモデルを誘導する音声条件付き確率パスを構築する。
論文 参考訳(メタデータ) (2025-10-05T11:38:01Z) - FADEL: Uncertainty-aware Fake Audio Detection with Evidential Deep Learning [9.960675988638805]
顕在学習を用いた偽音声検出(FADEL)という新しいフレームワークを提案する。
FADELはモデルの不確実性を予測に組み込んでおり、OODシナリオではより堅牢なパフォーマンスを実現している。
本研究では,異なるスプーフィングアルゴリズム間の平均不確かさと等誤差率(EER)の強い相関関係を解析し,不確かさ推定の有効性を示す。
論文 参考訳(メタデータ) (2025-04-22T07:40:35Z) - Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。
評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
論文 参考訳(メタデータ) (2024-08-20T09:42:26Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。