論文の概要: Prompt-Model Interaction Reaches the Fixed Points: A deterministic, task-free structural readout -- and the factorizations of it that failed
- arxiv url: http://arxiv.org/abs/2608.21315v1
- Date: Fri, 21 Aug 2026 17:25:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.648282
- Title: Prompt-Model Interaction Reaches the Fixed Points: A deterministic, task-free structural readout -- and the factorizations of it that failed
- Title(参考訳): Prompt-Modelインタラクションが固定されたポイントに到達 - 決定論的でタスク不要な構造的読み出し -- と失敗の要因
- Abstract要約: ショートウィンドウ argmax map x_t+1 = argmax_x p(x | x_t-1, x_t) の固定点構造は96 から始まる。
6つのモデルのうち4つは、ウィンドウ16で完全に失われている。
第一に、相互作用は全等級でこの読み出しに達する:条件付けの9つのトークンは、そのほとんどにわたって固定点分数を動かす。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: That a prompt's effect is not a property of the prompt is established: prompts optimised for one model degrade on another, and rankings reorder under neutral reformatting. That evidence is about task accuracy, which cannot say whether the interaction is a fact about task machinery or about the conditional distribution itself. We ask on a readout with no task in it: the fixed-point structure of the short-window argmax map x_{t+1} = argmax_x p(x | x_{t-1}, x_t), censused from 96 starts. It is deterministic, so nothing can be helped or hurt, and it exists only at short windows -- four of six models lose it entirely by window 16 -- so everything here concerns how a model reads a fragment. Two results. First, the interaction reaches this readout at full magnitude: nine tokens of conditioning move the fixed-point fraction across most of its range, change a four-way structural class, and reorder models, while instruction tuning worth 60.5 IFEval points moves the class by zero. Second, nothing we proposed carries it. Prefix length fails: the effect is not monotone. Four phenomenological factors -- prose-versus-markup, a universal direction, bidirectionality, instruct-resistance -- were each withdrawn within one run of being proposed, dissolved by widening the sample. And the nearest mechanistic account, attention-sink dominance of early tokens, predicts the sign of the shift on 2 of 5 models -- chance -- while a length-by-content cross shows it holds on real text and fails on our probe's uniformly random input, so we are outside its regime, not against it. One fixed nine-token prefix drives four models toward 0 and two toward 1; the bidirectionality survives in-distribution starts. On this readout the unit of explanation is the prompt-model pair. The recurring error it caught in us has a name: a criterion with a shape applied to a quantity with no room to vary.
- Abstract(参考訳): プロンプトの効果がプロンプトの特性ではないことは、あるモデルが別のモデルで劣化することを最適化するプロンプトが確立され、中立的な改革の下でランキングが再発注される。
この証拠はタスクの正確性に関するものであり、インタラクションがタスクマシンに関する事実なのか、あるいは条件分布そのものに関するものであるのかは定かではない。
ショートウィンドウ argmax map x_{t+1} = argmax_x p(x | x_{t-1}, x_t) の固定点構造は96 から始まる。
6つのモデルのうち4つは、ウィンドウ16で完全に失われている。
2つの結果。
条件付けの9つのトークンは、固定点分率をその範囲のほとんどを移動させ、4方向構造クラスを変更し、モデルをリオーダーし、命令チューニングの価値60.5 IFEvalポイントはクラスをゼロに移動させる。
第二に、私たちが提案したものは何もありません。
固定長は失敗する:効果は単調ではない。
提案した4つの現象学的因子(散在性,普遍性,双方向性,命令抵抗性)は,それぞれ1回以内に回収され,試料を広げて溶解した。
そして、最も近いメカニスティックな説明、初期トークンの注意を惹きつける優位性は、5つのモデルのうち2つにシフトする兆候を予測します。
1つの固定 9-token プレフィックスは4つのモデルを 0 に向けて、2つのモデルを 1 に向けて駆動する。
この読み出しでは、説明の単位はプロンプトモデル対である。
繰り返し発生するエラーには、変化の余地のない量に形が適用される基準という、名前がある。
関連論文リスト
- Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳(メタデータ) (2026-08-11T16:18:34Z) - What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model [0.0]
メソッドのクラスは、独自の出力を与えて言語モデルを探索する。
我々は、その問題を鋭くするために選ばれた工事において、そのような調査がどう対処するかを尋ねる。
答えは、見た目が似ている読書において、一度に2つの異なるものを測定することだ。
論文 参考訳(メタデータ) (2026-08-11T14:40:35Z) - Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。
スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
論文 参考訳(メタデータ) (2026-08-10T19:42:01Z) - Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models [0.0]
2つの実験は、保持された汚染のない合成コーパス上の3つの因子全てを横断する。
実験1では,規則数Nが10から160に増加するにつれて,命令追従減衰を測定する。
実験2では, 2k-to-512k-tokenのコンテキストラグ上での精度, 虚偽の前提条件, ファクトファクトファクトファクチャリングの測定を行った。
論文 参考訳(メタデータ) (2026-07-21T16:31:35Z) - Can Machines Really See Objects in Images? A Study Based on Syntactic Distance and Visual Self-Referential Instances [53.65561607407989]
そのような局所的な手がかりが区別の安定な基盤を提供しない場合、モデルが依然として正しく分類できるかどうかを問う。
ResNetとVision Transformersの実験では、一貫した位相遷移現象が明らかになった。
結果は、汎用インテリジェンスは、既存の言語を再利用するのではなく、新しい言語を作成する必要があることを示唆している。
論文 参考訳(メタデータ) (2026-06-28T14:27:40Z) - VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか?
VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。
ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
論文 参考訳(メタデータ) (2026-06-05T22:06:07Z) - Measuring and Improving Behavioral Consistency in Large Language Models through Fact-Heuristic-Emotion State Enforcement [4.226475360842309]
大規模言語モデル(LLM)は、実行中に同じ決定問題に対して異なる回答を与え、自身の事前回答がコンテキストとして返されるときにその決定を覆す。
モデル重みを変化させることなく、この不安定性を測定・部分的に低減できるかどうかを問う。
我々は,プロンプトレベルの状態強化層であるCognitive Kernel Model (CKM)をテストする。
論文 参考訳(メタデータ) (2026-06-05T12:36:36Z) - Phantom transitions in language model fine-tuning [0.0]
ほぼ同期の競合相手とコンテキスト上で言語モデルを微調整することは、しばしばサイレントに失敗する。
2つのファミリーにまたがる5つの変圧器アーキテクチャと5つのパラメータ範囲にまたがるこの構造について検討する。
位相遷移に類似した順序パラメータにおいて,鋭いカタパルト様ジャンプを観察する。
論文 参考訳(メタデータ) (2026-05-25T10:44:42Z) - Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。
我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。
解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
論文 参考訳(メタデータ) (2026-05-08T06:15:50Z) - Search Methods for Sufficient, Socially-Aligned Feature Importance
Explanations with In-Distribution Counterfactuals [72.00815192668193]
特徴重要度(FI)推定は一般的な説明形式であり、テスト時に特定の入力特徴を除去することによって生じるモデル信頼度の変化を計算し、評価することが一般的である。
FIに基づく説明の未探索次元についていくつかの考察を行い、この説明形式に対する概念的および実証的な改善を提供する。
論文 参考訳(メタデータ) (2021-06-01T20:36:48Z) - Optimal network online change point localisation [73.93301212629231]
オンラインネットワーク変化点検出の問題点について検討する。
この設定では、独立したベルヌーイネットワークの集合が順次収集され、基礎となる変化点が生じる。
目的は、虚偽のアラームの数または確率の制約に応じて、それが存在する場合、変更点をできるだけ早く検出することです。
論文 参考訳(メタデータ) (2021-01-14T07:24:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。