論文の概要: Lingtai: What Concept Geometry Reveals--and Does Not Reveal--About LLM Inference

• arxiv url: http://arxiv.org/abs/2610.00656v1
• Date: Wed, 30 Sep 2026 19:55:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.737782
• Title: Lingtai: What Concept Geometry Reveals--and Does Not Reveal--About LLM Inference
• Title（参考訳）: Lingtai: LLMの推論はどんなコンセプトなのでしょうか?
• Abstract要約: リングタイ(Lingtai)は、ステップごとのコンセプト・コーディネート信号を生成する、トレーニング不要のコンセプト・テレメトリー層である。 コード生成と小学校数学の推論を通じて、この信号は予測の不確実性と堅牢な関係を示す。 一致した監査では、ここで使用されるスカラーの概念活性信号が安定した正当性座標を提供するという証拠は見つからない。
• 参考スコア（独自算出の注目度）: 0.47995234787833113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Observing what a large language model computes during autoregressive inference--online and without training probes--remains difficult. We introduce Lingtai, a training-free concept telemetry layer: at each generation step, residual states are projected onto a domain-specific bank of named concept anchors, constructed without labeled concept examples, outcome labels, gradient fitting, or activation-space optimization, producing a structured per-step concept-coordinate signal. Across code generation and grade-school mathematical reasoning, this signal exhibits a robust association with predictive uncertainty: the association survives problem-identity and token-position controls and is not attributable to a single token type, is not explained by a simple correct/incorrect mixture on GSM8K, and is not reproduced by matched random anchors; it is markedly weaker or direction-inconsistent in K-means and PCA projections. Two structures emerge: a recurring uncertainty-linked activity signal whose functional geometry is task-conditioned (distinct activity-entropy shapes on HumanEval, MBPP, and GSM8K), and an execution-specific trajectory identity with strong local inertia but weak re-instantiation invariance--under completion-only elastic alignment, corruption at k=32 (approximately a median quarter of the completion) on the matched re-execution subset still retrieves the archived episode at 62.0%, while a fresh execution retrieves it only 11.7-16.0% of the time. Finally, a matched audit finds no evidence that the scalar concept-activity signal used here supplies a stable correctness coordinate under the tested protocol; we therefore treat correctness as externally supplied. Telemetry adds 0.7-1.6% per-token decode overhead for the 161-anchor code implementation, with unchanged generated tokens.
• Abstract（参考訳）: 大規模な言語モデルが自動回帰推論(オンラインおよびトレーニングプローブなしで)中に何を計算するかを観察することは困難である。 学習不要の概念テレメトリ層であるLingtaiを導入し、各生成ステップにおいて、残状態が名前付き概念アンカーのドメイン固有バンクに投影され、ラベル付き概念例、結果ラベル、グラデーションフィッティング、アクティベーション空間の最適化なしで構築され、ステップごとのコンセプトコーディネート信号が構造化される。 このシグナルは、コード生成とグレードスクールの数学的推論を通じて、予測の不確実性に頑健な関係を示す: このシグナルは、問題同一性およびトークン配置制御を生き残り、単一のトークンタイプに起因するものではなく、GSM8K上の単純な正しい/不正確な混合によって説明されず、一致したランダムアンカーによって再生されない。 機能的ジオメトリがタスク条件(HumanEval, MBPP, GSM8K)である繰り返し不確実性リンクされた活動信号と、強い局所慣性を持つが、再現性のみの弾性アライメントの弱い実行固有の軌道アイデンティティ、一致した再実行サブセット上のk=32(ほぼ4分の1)の破壊は、まだ62.0%で、新しい実行は、その時間のうち11.7～16.0%でしか回収されない。 最後に、一致した監査では、ここで使用されるスカラーな概念活性信号が、試験プロトコルの下で安定した正当性座標を提供するという証拠は見つからず、したがって、正当性は外部から供給されるものとして扱う。 テレメトリは161アンカーのコード実装に0.7-1.6%のデコードオーバーヘッドを加えた。

関連論文リスト

• Algebraic Consistency Alone Does Not Certify Temporal Structure in Latent Action Models [18.86499205164955]
  アクションモデルは、アクションフリービデオの2つのフレーム間の遷移のコードを推論する。 近年の手法では、この符号を正則化して加法的および反対称的に構成する。 この結論は従わないことを示す。
  論文  参考訳（メタデータ） (2026-09-20T09:03:21Z)
• Making two action heads agree: coordination mechanisms and a runtime collapse certificate for flow-matching policies [13.05465000489116]
  フローマッチングポリシは、予測された各動きをジョイントとエンドエフェクタ空間にデコードする。 マルチモーダルタスクでは、独立してサンプリングされた枝は異なる有効なモードを選択することができ、誤警報を引き起こす。 2つの枝の調整方法とコストについて検討する。
  論文  参考訳（メタデータ） (2026-08-16T13:57:36Z)
• Attention-Path Fragility as an Uncertainty Signal in Large Language Models [3.5772286398380255]
  我々はこれを、注意を隠蔽し、成果物間のBALD相互情報を計測するトレーニング不要推定器ASMIとしてインスタンス化する。 接地されたQAでは、単一パスの信頼性とエントロピーを超えたエラー予測情報が追加されている。 ヘッドレベルの分析では、この境界線を追跡するのは、ヘッドレベルの脆弱性の存在ではなく、その脆弱性がエラーと一致しているかどうかを示している。
  論文  参考訳（メタデータ） (2026-08-11T16:59:02Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning [0.5854803320592717]
  線形ガウスモデル (Thm.A) における最適性を証明し, 展開のドリフトをゼロにする2次ペナルティに対する範囲被覆の必要性 (Thm.G) を示す。 13ブロック(MLからQwen2.5-7Bまで)のテストは、幾何と展開のドリフトに対する等方性対間違った方向の罰則と一致した。 Sigma_taskを推定し、Sigmaにマッチし、コントロールを実行し、タスクとジオメトリを別々にレポートする。
  論文  参考訳（メタデータ） (2026-05-21T17:53:28Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。