論文の概要: Present but Hard to Read: Probing Latent Reasoning with Minimal Pairs

• arxiv url: http://arxiv.org/abs/2610.28498v1
• Date: Tue, 20 Oct 2026 16:41:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.924209
• Title: Present but Hard to Read: Probing Latent Reasoning with Minimal Pairs
• Title（参考訳）: 読みづらいこと:最小のペアで潜伏推論する
• Abstract要約: 我々は、解答が始まり、失敗するプローブを、値が欠落していることを示す証拠として、モデルの状態をテストする。 この数字でのみ異なるプロンプトを比較すると、最後のプロンプトトークンに、質問間で共有されるコードが存在することがわかる。 通常の設定では、一度に1つのプロンプトを見るプローブは、Ouroでは0.36、Qwenでは0.19とほとんど読めない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probing studies of latent reasoning often read a model's state where the answer begins and take a failed probe as evidence that a value is absent. We test this with a digit copied from the question, in the looped model Ouro-1.4B and the standard transformer Qwen2.5-1.5B. Comparing prompts that differ only in that digit shows it is present at the last prompt token, in a code shared across questions (readout about 0.9). A probe that sees one prompt at a time, the usual setting, barely reads it: 0.36 in Ouro and 0.19 in Qwen even after 5,249 training questions. The digit's change is small rather than crowded: random noise lands on equally busy directions, while a random word in its place moves the state far more and is readable. Since every varied token leaves a trace, a successful probe is ambiguous too. We give a protocol, including a synthetic null for generic mixing, for testing computed values against copies and mixtures of the inputs. In pre-registered studies of two-step problems it finds a small signal for the unwritten intermediate a+b just before Ouro writes the answer's last digit, and its sign follows the operation, though mixing alone produces much of that sign-following part. Holding that value at another problem's from the first loop on does not move the written digit toward the other problem's, while the same patch of the answer does: the value is readable but not used.
• Abstract（参考訳）: 潜伏推論の研究は、答えが始まり、失敗するプローブを値が欠落していることを示す証拠として、しばしばモデルの状態を読み取る。 ループ型モデルOuro-1.4Bと標準変圧器Qwen2.5-1.5Bで問題からコピーした桁でこれを検証する。 この数字でのみ異なるプロンプトを比較すると、最後のプロンプトトークンに、質問間で共有されるコードが存在することがわかる(約0.9)。 通常の設定では、一度に1つのプロンプトを見るプローブは、Ouroでは0.36、Qwenでは0.19とほとんど読めない。 桁の変更は混雑するよりも小さい: ランダムなノイズは等しく混雑する方向に着陸し、ランダムな単語はその場所にある状態をより多く移動し、読みやすくする。 様々なトークンが痕跡を残しているため、成功したプローブもあいまいである。 我々は、汎用混合のための合成ヌルを含むプロトコルを提供し、入力のコピーと混合に対して計算値をテストする。 2段階の問題を事前に登録した研究において、オウロが答えの最後の数字を書く直前に、未書きの中間 a+b の小さな信号を見つけ、その記号は操作に従うが、単独でその符号を追従する部分の多くを生成する。 その値を最初のループから別の問題に保持することは、書かれた数字を他の問題へ移動させるものではない。

関連論文リスト

• Measurement Validity and Representation Dynamics of Confidence Signals in Large Language Models [0.0]
  我々は,音声による信頼度,隠れ状態に対する線形探索,サンプル回答間の一致を比較した。 第一に、事前充填状態で訓練されたプローブは、サンプリングされた回答がより早く発見されるかどうかを予測します。 第二に、言語化された信頼は不安定である:少し異なるプロンプトテンプレートは、ほとんど相関しないスコアを得る。 第3に、予測エラーは誤解を招く: 単語の信頼度はベースレート近くでクラスタ化され、差別が不十分であるのに対して、サンプリング合意はECEが悪く、解像度が約2倍である。
  論文  参考訳（メタデータ） (2026-10-19T06:04:38Z)
• Verdict: Encode Once, Decide Many [0.0]
  オープンなエンコーダであるVerdict-MQを紹介します。 タイプ決定ベンチマークでは、395M Verdict-MQがリリースされた421M Layaのスペシャリストよりも、ソフトゴールドのラベルとかなりよく一致している。
  論文  参考訳（メタデータ） (2026-10-14T18:27:25Z)
• Knowing When Not to Answer: Cross-Domain and Multi-Turn Generalization of Latent Underspecification Signals [0.0]
  解答不可能性は隠蔽状態から線形に退避可能であるが、どの形が表現を共有し、その信号が対話で有用であるかは定かではない。 我々は,ターンラベル付きマルチターンベンチマーク(会話423件,ラベル付きターンステート1,661件)と,明確な質問に答える模擬ユーザによる評価手法を提案する。
  論文  参考訳（メタデータ） (2026-10-06T14:18:13Z)
• When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs [0.0]
  多数決による自己整合性は、小命令チューニングモデルのGPQAダイアモンド問題において、プロブレム毎の精度を低下させる。 このバージョンでは、最も自然な修復も失敗し、v1が1つとして扱われた3つの信号障害を分離する。
  論文  参考訳（メタデータ） (2026-08-11T20:08:51Z)
• Latent Undertow: How Ordinary Typos Break Probes [1.3636639880574484]
  タイプミスや句読点の欠如によって、ユーザの意図とモデルの反応は瞬時に変化しない。 しかし、モデルの隠れ状態を読むことによって悪意のあるプロンプトを検出するプローブは、異なるストーリーを語る:同じ編集で、摂動トークンで読み出しベクトルを43-56回転させ、10下流トークンで15%以下で崩壊する。 メッセージごとに3つの共通型を積み重ねると、シングルポジションのプロンプトインジェクションプローブのTPR@FPR$=1% が 12.0pp にカットされる。
  論文  参考訳（メタデータ） (2026-07-08T11:41:43Z)
• Testing the Feasibility of Linear Programs with Bandit Feedback [53.40256244941895]
  我々は,低回帰アルゴリズムと反復対数の漸近法則に基づくテストを開発する。 このテストが信頼できることを証明し、信号レベルに適応する'$Gamma,$ of any instance。 信頼性テストのサンプルコストに対して、最小限の$(Omegad/Gamma2)$で補う。
  論文  参考訳（メタデータ） (2024-06-21T20:56:35Z)
• Quantum One-Wayness of the Single-Round Sponge with Invertible Permutations [49.1574468325115]
  スポンジハッシュは、広く使われている暗号ハッシュアルゴリズムのクラスである。 これまでのところ、不規則な置換は根本的なオープンな問題のままである。 ランダムな2n$-bit置換でゼロペアを見つけるには、少なくとも$Omega(2n/2)$多くのクエリが必要である。
  論文  参考訳（メタデータ） (2024-03-07T18:46:58Z)
• Concurrent Shuffle Differential Privacy Under Continual Observation [60.127179363119936]
  個人的連続和問題(対数問題)について検討する。 並列シャッフルモデルでは,標準シャッフルモデルに比べて誤差が大幅に改善できることが示されている。
  論文  参考訳（メタデータ） (2023-01-29T20:42:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。