論文の概要: Decodable In-Context State and Model Output Across Training

• arxiv url: http://arxiv.org/abs/2609.31401v1
• Date: Fri, 25 Sep 2026 15:25:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.458818
• Title: Decodable In-Context State and Model Output Across Training
• Title（参考訳）: トレーニング全体にわたる倒立可能なインコンテキスト状態とモデルアウトプット
• Abstract要約: 以前の研究は、プローブがモデルエラーのコンテキスト内バインディングをデコードし、プローブ誘導ステアリングがそれらのいくつかを修復できることを確立していた。 我々は,プローブの精度,モデル出力,および公開事前学習および後チェックポイント間のステアリング応答を追従する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior work established that a probe can decode an in-context binding on model errors and that probe-guided steering can repair some of them. We follow probe accuracy, model output, and steering response across public pretraining and post-training checkpoints. Probe accuracy rises during Pythia pretraining, while probe-guided steering moves from negligible all-trial benefit to a larger benefit at two model sizes. Saved scores distinguish probe-correct errors with low and above-uniform model probability for the correct candidate. Oracle-target steering already repairs many early errors, but saved aggregates cannot separate target quality from intervention sensitivity. A held-out comparison of decoders trained on the final state or candidate logits finds no detected final-state advantage on late-checkpoint model errors. An information-theoretic counterexample explains why decodability on errors alone cannot establish discarded output information. The connection to downstream omissions remains open.
• Abstract（参考訳）: 以前の研究は、プローブがモデルエラーのコンテキスト内バインディングをデコードし、プローブ誘導ステアリングがそれらのいくつかを修復できることを確立していた。 我々は,プローブの精度,モデル出力,および公開事前学習および後チェックポイント間のステアリング応答を追従する。 一方、プローブ誘導ステアリングは、無視可能な全治験的利益から、2つのモデルサイズでのより大きな利益へと移行する。 セーブスコアは、正しい候補に対する低および一様モデル確率のプローブ誤りを区別する。 Oracleのターゲットステアリングは、多くの早期エラーをすでに修復しているが、保存された集約は、介入感度からターゲット品質を分離することはできない。 最終状態または候補ロジットでトレーニングされたデコーダのホールドアウト比較では、遅延チェックポイントモデルのエラーに対して検出された最終状態のアドバンテージは見つからない。 情報理論の逆例は、なぜエラーのデオーダビリティだけでは破棄された出力情報を確立することができないのかを説明する。 下流への接続は未解決のままである。

関連論文リスト

• Legible Failures: Detecting and Repairing In-Context Binding Errors [0.0]
  間違った答えは、モデルが必要な情報を欠いているか、保持していたかを示していない。 16の公的なチェックポイントで、それぞれが3つのシードで評価される頻度を測定します。 インコンテキストバインディングは、プローブが動作可能な設定であることに気付きました。
  論文  参考訳（メタデータ） (2026-09-10T08:20:15Z)
• The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
  線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。 マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。 リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
  論文  参考訳（メタデータ） (2026-07-21T12:13:10Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• Project Aletheia: Verifier-Guided Distillation of Backtracking for Small Language Models [0.0]
  小言語モデル(SLM、Small Language Models)は、プライベートなデバイス上でのデプロイメントには魅力的である。 本稿では,エラー修復の過程を伝達するトレーニングプロトコルであるVerifier-Guided Distillationを紹介する。 潜在検証動作が小さなモデルに現れる可能性を示し、時折停止し、矛盾を検知し、以前の仮定を修正できるようにします。
  論文  参考訳（メタデータ） (2026-01-14T14:39:08Z)
• Probing for Arithmetic Errors in Language Models [86.8227317662622]
  言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。 単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。 モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
  論文  参考訳（メタデータ） (2025-07-16T16:27:50Z)
• Language Models Can Predict Their Own Behavior [29.566208688211876]
  言語モデル(LM)は、アライメントトレーニングに従わないなど、特定の振る舞いを示すことができます。 入力トークンの内部表現だけで訓練されたプローブは、出力シーケンス全体にわたって幅広い結果の挙動を予測することができることを示す。 プローブ上に構築された早期警報システムは、脱獄を91%削減する。
  論文  参考訳（メタデータ） (2025-02-18T23:13:16Z)
• Deployment Prior Injection for Run-time Calibratable Object Detection [58.636806402337776]
  検出器に追加のグラフ入力を導入し、事前にグラフが配置コンテキストを表す。 テストフェーズでは、事前に適切なデプロイメントコンテキストをグラフ編集を通じて検出器に注入することができる。 事前の配置が分かっていない場合でも、検出器は独自の予測を用いて、事前に近似した配置を用いて自己校正を行うことができる。
  論文  参考訳（メタデータ） (2024-02-27T04:56:04Z)
• Predicting generalization performance with correctness discriminators [56.948321040125734]
  未確認データに対して,金のラベルを必要とせず,精度の上下境界を確立する新しいモデルを提案する。 予測された上境界と下限の間に金の精度が確実に成立する様々なタグ付け、構文解析、意味解析タスクを示す。
  論文  参考訳（メタデータ） (2023-11-15T22:43:42Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。