論文の概要: NoisyCoconut: Counterfactual Consensus via Latent Space Reasoning
- arxiv url: http://arxiv.org/abs/2605.08221v1
- Date: Wed, 06 May 2026 13:58:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.473277
- Title: NoisyCoconut: Counterfactual Consensus via Latent Space Reasoning
- Title(参考訳): NoisyCoconut: 遅延空間推論による対実的合意
- Authors: Michael Jerge, David Evans,
- Abstract要約: NoisyCoconutは推論中にモデル表現を直接動作し、再トレーニングを必要としない。
制御ノイズを潜在軌道に注入し,多様な推論経路を生成する。
実験の結果,全経路の一致は誤り率を40~70%から15%以下に低下させることがわかった。
- 参考スコア(独自算出の注目度): 4.089192342585596
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents NoisyCoconut, a novel inference-time method that enhances large language model (LLM) reliability by manipulating internal representations. Unlike fine-tuning methods that require extensive retraining, NoisyCoconut operates directly on model representations during inference and requires no retraining. Rather than training models to reason in latent space, we inject controlled noise into latent trajectories to generate diverse reasoning paths. Agreement among these paths provides a confidence signal, enabling models to abstain when uncertain. We demonstrate that this approach achieves effective coverage-accuracy tradeoffs across multiple reasoning benchmarks without requiring access to training data or modification of model parameters. This approach provides a practical pathway to improving the reliability of LLM outputs while maintaining compatibility with existing models. Our experiments show that unanimous agreement among noise-perturbed paths reduces error rates from 40-70% to below 15%, enabling models to exceed 95% accuracy on mathematical reasoning tasks through selective abstention.
- Abstract(参考訳): 本稿では,内部表現を操作することで,大規模言語モデル(LLM)の信頼性を向上させる新しい推論時間法であるNoisyCoconutを提案する。
大規模な再トレーニングを必要とする微調整方法とは異なり、NoisyCoconutは推論中にモデル表現を直接操作し、再トレーニングを必要としない。
潜在空間を推論するためにモデルを訓練するのではなく、制御されたノイズを潜在軌道に注入し、多様な推論経路を生成する。
これらの経路間の合意は信頼のシグナルを与え、不確実な場合にはモデルを棄却することを可能にする。
提案手法は,学習データへのアクセスやモデルパラメータの変更を必要とせずに,複数の推論ベンチマーク間で効果的なカバレッジ-精度トレードオフを実現することを実証する。
このアプローチは、既存のモデルとの互換性を維持しながら、LCM出力の信頼性を向上させるための実践的な経路を提供する。
提案実験により, ノイズ摂動経路間の全一致が誤差率を40~70%から15%以下に低減し, 選択的棄却による数学的推論タスクにおいて, 95%以上の精度で精度を達成できることが示唆された。
関連論文リスト
- A Probabilistic Consensus-Driven Approach for Robust Counterfactual Explanations [2.4788097726838667]
本稿では,モデル変更に対するロバスト性を確保するために,データ分布と妥当なモデル決定空間を共同でモデル化する手法を提案する。
提案手法は,CFEをモデル変化に対して可塑性かつ安定な領域へ効果的にプッシュする。
論文 参考訳(メタデータ) (2026-04-19T15:31:18Z) - MaP: A Unified Framework for Reliable Evaluation of Pre-training Dynamics [72.00014675808228]
大規模言語モデルの不安定性評価プロセスは、真の学習力学を曖昧にする。
textbfMaPは、アンダーラインMergingアンダーラインとアンダーラインPass@kメトリックを統合するフレームワークです。
実験により、MaPはよりスムーズな性能曲線を示し、ラン間分散を低減し、より一貫性のあるランキングを保証する。
論文 参考訳(メタデータ) (2025-10-10T11:40:27Z) - Adaptive Training Meets Progressive Scaling: Elevating Efficiency in Diffusion Models [52.1809084559048]
TDCトレーニングと呼ばれる新しい2段階分割型トレーニング戦略を提案する。
タスクの類似性と難易度に基づいてタイムステップをグループ化し、高度にカスタマイズされた復調モデルを各グループに割り当て、拡散モデルの性能を向上させる。
2段階のトレーニングでは、各モデルを個別にトレーニングする必要がなくなるが、総トレーニングコストは、単一の統合されたデノナイジングモデルをトレーニングするよりもさらに低い。
論文 参考訳(メタデータ) (2023-12-20T03:32:58Z) - May the Noise be with you: Adversarial Training without Adversarial
Examples [3.4673556247932225]
我々は、敵の訓練を受けずに敵の訓練を受けたモデルを得ることができるかという疑問を調査する。
提案手法は,訓練時にNNモデルの層にガウス雑音を埋め込むことによって固有性を取り入れる。
我々の研究は、全く異なるアプローチで敵の訓練を受けたネットワークに貢献し、敵の訓練と経験的に類似した堅牢性を持つ。
論文 参考訳(メタデータ) (2023-12-12T08:22:28Z) - Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。
本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。
本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
論文 参考訳(メタデータ) (2023-10-06T06:29:06Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。
次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。
提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文 参考訳(メタデータ) (2023-02-19T15:24:37Z) - Revisiting Design Choices in Model-Based Offline Reinforcement Learning [39.01805509055988]
オフライン強化学習により、エージェントは環境遷移の大規模な収集済みデータセットを利用して制御ポリシーを学習することができる。
本稿では、モデル数や仮想ロールアウト地平線など、他のハイパーパラメータとの相互作用を研究するための新しいプロトコルを比較し、設計する。
論文 参考訳(メタデータ) (2021-10-08T13:51:34Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。