論文の概要: Stochastic CHAOS: Why Deterministic Inference Kills, and Distributional Variability Is the Heartbeat of Artifical Cognition

• arxiv url: http://arxiv.org/abs/2601.07239v1
• Date: Mon, 12 Jan 2026 06:19:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.241169
• Title: Stochastic CHAOS: Why Deterministic Inference Kills, and Distributional Variability Is the Heartbeat of Artifical Cognition
• Title（参考訳）: 確率的CHAOS:なぜ決定論的推論が致命的であり、分布変動が人工認知の心拍数であるのか
• Authors: Tanmay Joshi, Shourya Aggarwal, Anusa Saha, Aadi Pandey, Shreyash Dhoot, Vighnesh Rai, Raxit Goswami, Aman Chadha, Vinija Jain, Amitava Das,
• Abstract要約: LLMにとって、決定論的推論は致命的である、と我々は主張する。 不確実性をモデル化し、創発的な能力を抑え、単一の脆い経路に推論を崩壊させ、尾のリスクを隠すことで安全性のアライメントを弱める。
• 参考スコア（独自算出の注目度）: 14.945980804235885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deterministic inference is a comforting ideal in classical software: the same program on the same input should always produce the same output. As large language models move into real-world deployment, this ideal has been imported wholesale into inference stacks. Recent work from the Thinking Machines Lab has presented a detailed analysis of nondeterminism in LLM inference, showing how batch-invariant kernels and deterministic attention can enforce bitwise-identical outputs, positioning deterministic inference as a prerequisite for reproducibility and enterprise reliability. In this paper, we take the opposite stance. We argue that, for LLMs, deterministic inference kills. It kills the ability to model uncertainty, suppresses emergent abilities, collapses reasoning into a single brittle path, and weakens safety alignment by hiding tail risks. LLMs implement conditional distributions over outputs, not fixed functions. Collapsing these distributions to a single canonical completion may appear reassuring, but it systematically conceals properties central to artificial cognition. We instead advocate Stochastic CHAOS, treating distributional variability as a signal to be measured and controlled. Empirically, we show that deterministic inference is systematically misleading. Single-sample deterministic evaluation underestimates both capability and fragility, masking failure probability under paraphrases and noise. Phase-like transitions associated with emergent abilities disappear under greedy decoding. Multi-path reasoning degrades when forced onto deterministic backbones, reducing accuracy and diagnostic insight. Finally, deterministic evaluation underestimates safety risk by hiding rare but dangerous behaviors that appear only under multi-sample evaluation.
• Abstract（参考訳）: 決定論的推論は古典的ソフトウェアにおいて快適な理想であり、同じ入力上の同じプログラムが常に同じ出力を生成するべきである。 大規模な言語モデルが現実世界のデプロイメントへと移行するにつれ、この理想はインジェクションスタックに輸入された。 最近のThinking Machines Labの研究は、LLM推論における非決定性に関する詳細な分析を示し、バッチ不変カーネルと決定論的注意がどのようにビットワイズ識別出力を強制するかを示し、再現性と企業信頼性の前提として決定論的推論を位置づけている。 本稿では,逆の立場を取る。 LLMにとって、決定論的推論は致命的である、と我々は主張する。 不確実性をモデル化し、創発的な能力を抑え、単一の脆い経路に推論を崩壊させ、尾のリスクを隠すことで安全性のアライメントを弱める。 LLMは、固定関数ではなく出力上の条件分布を実装している。 これらの分布を単一の正準完備化に分解することは再保証されるように見えるが、人工的な認知の中心となる性質を体系的に隠蔽する。 代わりに、確率的CHAOSを提唱し、分布変動を測定・制御する信号として扱う。 経験的に、決定論的推論は体系的に誤解を招く。 単一サンプル決定論的評価は、機能と脆弱性、パラフレーズとノイズによる障害確率を過小評価する。 創発能力に関連する相様遷移は、強欲な復号化の下で消失する。 多経路推論は、決定論的バックボーンに強制されると劣化し、精度と診断の洞察が低下する。 最後に、決定論的評価は、多サンプル評価の下でのみ現れる稀だが危険な行動を隠すことによって、安全性のリスクを過小評価する。

関連論文リスト

• Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
  LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。 本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
  論文  参考訳（メタデータ） (2025-08-11T16:12:36Z)
• Uncertainty-Driven Reliability: Selective Prediction and Trustworthy Deployment in Modern Machine Learning [1.2183405753834562]
  この論文は、不確実性推定が機械学習(ML)システムの安全性と信頼性を高める方法について考察する。 まず、モデルのトレーニング軌道は、アーキテクチャの変更や損失を伴わずに活用できるような、豊富な不確実性信号を含むことを示す。 本稿では,タスク間で動作し,深層アンサンブルのコストを回避し,最先端の選択的予測性能を実現する軽量なポストホック禁忌手法を提案する。
  論文  参考訳（メタデータ） (2025-08-11T02:33:53Z)
• Inv-Entropy: A Fully Probabilistic Framework for Uncertainty Quantification in Language Models [12.743668975795144]
  大規模言語モデル(LLM)は自然言語処理を変換しているが、信頼性の高いデプロイメントには有効な不確実性定量化(UQ)が必要である。 既存のUQ手法はしばしば確率論的解釈を欠いている。 本稿では, 与えられた出力に条件付き入力空間の多様性を評価することによって不確実性を定量的に評価する, 逆モデルに基づく完全確率的フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-11T13:02:17Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。