論文の概要: Semantic Reasoning Denoising: Correcting Language Model Reasoning with Semantic Operators

• arxiv url: http://arxiv.org/abs/2608.22090v1
• Date: Sat, 22 Aug 2026 19:43:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.60689
• Title: Semantic Reasoning Denoising: Correcting Language Model Reasoning with Semantic Operators
• Title（参考訳）: 意味論的推論:意味論的演算子による言語モデル推論の修正
• Abstract要約: 大規模言語モデルでは、局所的な意味的誤りが誤った結論に伝播するような、流動的な推論トレースを生成することができる。 本稿では,SRD(Semantic Reasoning Denoising)について述べる。 SRDは、エラータイプ、その位置、破損および修復された命題を記述した実行可能なエラー演算子によるセマンティックノイズを表す。
• 参考スコア（独自算出の注目度）: 0.2538209532048867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models can produce fluent reasoning traces whose local semantic errors propagate to an incorrect conclusion, while unconstrained self-correction may preserve, amplify, or introduce errors. Existing diffusion language models provide iterative refinement, but usually define noise as token masking or replacement rather than as errors in the reasoning process. We present Semantic Reasoning Denoising (SRD), an operatorized Markov denoising method for natural-language reasoning trajectories. SRD represents semantic noise with executable error operators that describe the error type, its location, and the corrupted and repaired propositions. Composing these operators constructs progressively noisier states. During training, the model learns to identify the semantic noise active in the current trajectory and to reconstruct the paired adjacent lower-noise state. During inference, noise-level-aware denoising repeatedly predicts an inverse operator and checks whether it is applicable, so each executed update makes a localized move toward a stable trajectory. Across six in-domain benchmarks spanning mathematics, code, knowledge, and commonsense, SRD improves the strongest same backbone baseline by 3.2 points on average. On seven cross-dataset transfer targets, it remains competitive with Llama-3-8B-Instruct and improves the strongest Qwen3-8B baseline average by 2.9 points. Analyses of noise sources, objectives, and denoising depth further show that structured semantic-noise prediction and iterative operator execution are central to the improvement.
• Abstract（参考訳）: 大規模言語モデルは、局所的な意味的誤りが誤った結論に伝播する流動的な推論トレースを生成することができるが、制約のない自己補正はエラーを保存、増幅、あるいは導入することができる。 既存の拡散言語モデルは反復的な改善を提供するが、通常、ノイズは推論プロセスのエラーではなくトークンマスキングや置換として定義する。 本稿では,SRD(Semantic Reasoning Denoising)について述べる。 SRDは、エラータイプ、その位置、破損および修復された命題を記述した実行可能なエラー演算子によるセマンティックノイズを表す。 これらの作用素を構成することは、徐々にノイズの多い状態を構成する。 トレーニング中、モデルは現在の軌道でアクティブな意味ノイズを識別し、隣接する隣り合う低雑音状態を再構築する。 推測中、ノイズレベル認識は逆演算子を繰り返し予測し、それが適用可能かどうかをチェックするため、各更新は、安定した軌道に向かって局所的な移動を行う。 数学、コード、知識、コモンセンスにまたがる6つのドメイン内のベンチマークにおいて、SRDは最強のバックボーンベースラインを平均3.2ポイント改善している。 7つのデータ転送ターゲットでは、Llama-3-8B-Instructと競合し、Qwen3-8Bベースライン平均を2.9ポイント改善している。 さらに、雑音源、目的物、騒音深度の分析により、構造的意味雑音予測と反復的演算子実行が改善の中心であることを示している。

関連論文リスト

• When Is Noise Response Universal? Tokenization as the Hidden Variable in Language Models [3.6243102296545846]
  文埋め込みとデコーダのみのLLMの両方を含む,ニューラルネットワーク間の劣化率について検討した。 単語レベルのノイズの下では、全く異なるアーキテクチャを持つモデルは、ほぼ同じ曲線に沿って減少し、文字レベルのノイズの下では分離される。 この発見とその基盤となるメカニズムは、ノイズに対するモデルの頑健さをノイズ評価なしで予測する実用的な手段を提供する。
  論文  参考訳（メタデータ） (2026-08-26T18:51:51Z)
• DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models [9.199240801552302]
  GRPO型トレーナーのプラグ・アンド・プレイ・エンハンスメントであるGRPO(DACA-GRPO)に対するDenoising-Aware Credit Assignmentを提案する。 DACA-GRPOは、数学的推論、コード生成、制約満足度、制約付き生成を含む7つのベンチマークで一貫した改善を実現している。
  論文  参考訳（メタデータ） (2026-05-08T01:02:31Z)
• Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models [60.25003813232697]
  本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。 ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。 複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
  論文  参考訳（メタデータ） (2026-03-18T12:54:50Z)
• Incorporating Error Level Noise Embedding for Improving LLM-Assisted Robustness in Persian Speech Recognition [1.3607388598209322]
  本研究では,複数の仮説と雑音認識モデルを組み合わせた頑健な雑音感受性ASR誤差補正フレームワークを提案する。 雑音の多いペルシャ語を用いて、修正されたWhisper-largeデコーダから5-best仮説を生成する。 実験結果から, ELN条件付きモデルは単語誤り率(WER)を大幅に低減できることが示された。
  論文  参考訳（メタデータ） (2025-12-19T05:26:50Z)
• From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model [72.73512218682187]
  ReDiff(Refining-enhanced diffusion framework)は、モデルに自身のエラーを特定し、修正するように教えるフレームワークである。 まず、合成エラーを修正するためにモデルをトレーニングすることで、基礎的なリビジョン機能を具現化し、次に、新しいオンライン自己補正ループを実装します。 この誤り駆動学習は、モデルに既存の出力を再検討し、洗練する重要な能力を与え、エラーカスケードを効果的に破壊する。
  論文  参考訳（メタデータ） (2025-10-22T06:58:55Z)
• InstructRAG: Instructing Retrieval-Augmented Generation via Self-Synthesized Rationales [14.655518998487237]
  InstructRAGを提案する。そこでは、LMが自己合成的理性を通して認知過程を明示的に学習する。 インストラクションRAGは追加の監視を必要としないため、予測された回答の検証が容易になる。 実験によると、InstructRAGはトレーニング不要とトレーニング可能な両方のシナリオにおいて、既存のRAGメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-06-19T15:25:29Z)
• Large Language Models are Efficient Learners of Noise-Robust Speech Recognition [65.95847272465124]
  大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。 本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。 最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
  論文  参考訳（メタデータ） (2024-01-19T01:29:27Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Instance Regularization for Discriminative Language Model Pre-training [108.41891836796366]
  本研究は,言語モデル事前学習における劣化文から原文を復元する複雑性を推定することを提案する。 自然言語理解と読解のベンチマークによる実験結果から,本手法は事前学習の効率,有効性,堅牢性を向上することが示された。
  論文  参考訳（メタデータ） (2022-10-11T14:16:37Z)
• Robustification of Multilingual Language Models to Real-world Noise with Robust Contrastive Pretraining [14.087882550564169]
  ノイズの多いデータに基づいてニューラルモデルのロバスト性を評価し,改良は英語に限られていることを示唆する。 事前訓練された多言語モデルの性能をベンチマークするために、5つの言語と4つのNLPタスクをカバーするノイズの多いデータセットを構築した。 本稿では,多言語事前学習モデルのゼロショット言語間ロバスト性を高めるために,ロバストコントラスト事前学習(RCP)を提案する。
  論文  参考訳（メタデータ） (2022-10-10T15:40:43Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。