論文の概要: Many Perturbations, Shared Failure Dynamics: Tracing Direction-Sensitive Perturbation Influence in Language Models
- arxiv url: http://arxiv.org/abs/2610.32309v1
- Date: Fri, 23 Oct 2026 08:09:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.428147
- Title: Many Perturbations, Shared Failure Dynamics: Tracing Direction-Sensitive Perturbation Influence in Language Models
- Title(参考訳): 多くの摂動、共有障害ダイナミクス:言語モデルにおける方向感性摂動の影響の追跡
- Abstract要約: 不均一な言語変更は、入力非依存の障害方向を共有することなく、幾何学的および読み出し的関係を共有することができる。
コンパクトリザーブ・アンド・トランスミッションモデルは、Qwen3-32BとGemma 4 31Bの保留家族とアイテム間の障害を予測する。
その結果、自然障害の完全な説明と局所因果感受性を区別しながら、予備、変換、応答間の共通関係を支持する。
- 参考スコア(独自算出の注目度): 11.514477267634225
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Why can a task-preserving rewrite turn a correct answer into a failure while a larger internal change leaves the answer intact? We develop a direction-sensitive, readout-relative account of semantic fragility: heterogeneous language changes can share geometric and readout relationships without sharing an input-independent failure direction. Clean decision reserve, representation transformation, and response alignment provide complementary descriptions of this process. An exact longitudinal-transverse decomposition identifies directional information discarded by scalar transmission. A compact reserve-and-transmission model predicts failures across held-out families and items in Qwen3-32B and Gemma 4 31B, with useful but parameterization-dependent transfer to ReClor. Matched interventions show that orientation carries causal information beyond scalar geometry. Among naturally failed rewrites, attention-component tests on disjoint original items and subsequent answer-order controls favor the natural paired direction over tested random and same-answer-letter donor directions. Yet failures rarely persist across option orders, and current-order corrections use recomputed clean references. Shared predictive regularity thus coexists with context-dependent directional effects. Numerical path integration reduces, but does not eliminate, finite-patch approximation error within a fixed context; a larger discrepancy from the natural rewrite effect remains. A complementary fixed-CoT cue study extends this account to influence unacknowledged in recorded reasoning: readout associations transfer across domains, although the positive-mean causal criterion fails and signed-effect prediction remains post hoc. Together, these results support shared relations among reserve, transformation, and response while distinguishing local causal sensitivity from a complete explanation of natural failure.
- Abstract(参考訳): なぜタスク保存の書き直しが正しい回答を失敗にし、大きな内部変更が答えをそのまま残すのか?
不均一な言語変更は、入力非依存の障害方向を共有することなく、幾何学的および読み出し関係を共有できる。
クリーンな決定予約、表現変換、応答アライメントは、このプロセスの補完的な記述を提供する。
正確な縦横分解は、スカラー送信によって破棄された方向情報を特定する。
コンパクトなリザーブ・アンド・トランスミッションモデルは、Qwen3-32BとGemma 4 31Bの保持されたファミリーとアイテム間の障害を予測し、有用ながパラメータ化に依存したReClorへの転送を行う。
一致した介入は、向き付けがスカラー幾何学を超えた因果情報を持っていることを示している。
書き直しが自然に失敗した中で、解答順序制御と解答順序制御の注意成分テストは、試験されたランダムおよび同じ解答書のドナー方向よりも自然対方向を優先する。
しかし、障害はオプションの順序を越えて持続することは滅多になく、現在の順序修正では再計算されたクリーンな参照を使用する。
共有予測正則性は、文脈依存的な方向効果と共存する。
数値経路積分は、固定された文脈内で有限パッチ近似誤差を排除しないが、自然な書き換え効果との大きな差は残る。
補完的な固定CoTのcue研究は、この説明を拡張して、記録された推論で認識されていない影響を及ぼしている: ドメイン間での読み出し関連が伝達されるが、正味の因果関係は失敗し、署名効果の予測は後のままである。
これらの結果は、自然障害の完全な説明と局所因果感受性を区別しながら、予備、変換、応答の共有関係を支持する。
関連論文リスト
- Coherence-Aware Distributional Evaluation of Open-Ended Text Generation [4.3363673706639885]
グローバル・コヒーレンス・失敗の 中心的ボトルネックとしての表現です
CHORD (Coherence-aware Hidden-state Open- Generation Reference Distance) は生成されたコーパスと人書きコーパスを符号化する。
結果は、信頼性の高い分布評価の中心として表現設計を確立する。
論文 参考訳(メタデータ) (2026-09-28T03:44:27Z) - Stochastic Semantic Evidence Graphs: Uncertainty Propagation and Governance for Agentic AI [0.0]
本稿では,言語ノードが自己回帰トークンサブグラフに拡張する階層型DAGを提案する。
出所証明のために、このグラフは不確実なクレーム-パス関係を保持し、鋭いフレシェ境界を伝播する。
コントロールされた実験では、5000のケースで認証違反は発生せず、クロスRAGとライブブレーブ-検索実験は、検索、プレゼンテーション、ソース、インタラクション効果を分離する。
論文 参考訳(メタデータ) (2026-09-03T22:16:23Z) - Align, Unify, Suppress, Route: A Coherentist View of Transformer Computation [0.0]
コヒーレント主義の確率的構成主義は、コヒーレント主義の解釈理論における変圧器の計算を基礎としている。
5つのアーキテクチャファミリーの15モデルのうち、抑制、統一、ルーティングのウェイトスペースシグネチャは、保持されたアクティベーションレベルの役割尺度と相関する。
明示的な矛盾は14モデルにおいて階層的コヒーレンスプロキシを著しくシフトさせ、共有残差を除去した後、そのギャップは各モデルで予測される方向を持つ。
論文 参考訳(メタデータ) (2026-08-22T16:29:20Z) - Broken Symmetry in LLM Refusal: Answer Release Is More Local Than Refusal Restoration [24.010665397925333]
言語モデルがプロンプトに答えることを拒否した場合、正しい答えが内部表現から削除されるか、単に出力層で抑圧されるかは不明確である。
この機構を制御された無条件設定を用いて検討し, 双方向アクティベーションパッチのための完全一致の解答と拒否軌道を導出する。
論文 参考訳(メタデータ) (2026-08-16T14:47:33Z) - DQE-CIR: Distinctive Query Embeddings through Learnable Attribute Weights and Target Relative Negative Sampling in Composed Image Retrieval [53.482391830683014]
合成画像検索(CIR)は、参照画像と、意図した変更を特定する修正テキストとを共同で解釈することにより、対象画像を検索するタスクに対処する。
既存のほとんどの手法は、基底の真理像を唯一の正の例として扱い、残りの全ての画像を負の例として扱う対照的な学習フレームワークの上に構築されている。
学習可能な属性重みとターゲットの相対的負サンプリングによるクエリ埋め込みを提案する。
論文 参考訳(メタデータ) (2026-03-04T13:17:44Z) - On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation [51.56484100374058]
このような情報条件の相互作用パターンを振る舞い依存として定式化する。
これにより、$$-behavioural equivalenceというプローブ相対的な概念と、政治内行動距離が導かれる。
その結果、共通政策変換の下でプローブ条件の挙動分離が保存されない構造条件が明らかになった。
論文 参考訳(メタデータ) (2026-02-24T22:55:21Z) - Dynamics Reveals Structure: Challenging the Linear Propagation Assumption [23.984006583336498]
局所的な更新が論理的結果に相反するかどうかを考察する。
否定と逆の場合、方向に依存しない一階伝播を保証するためには、関係コンテンツからエンティティペアコンテキストを分離するテンソル因子化が必要であることが証明される。
合成が結合に還元されることを示し、線型特徴量上でよく定義された接続が双線型でなければならないことを示す。
論文 参考訳(メタデータ) (2026-01-29T12:08:00Z) - PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。
本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
論文 参考訳(メタデータ) (2024-09-24T07:57:21Z) - Score-based Causal Representation Learning with Interventions [54.735484409244386]
本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。
目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
論文 参考訳(メタデータ) (2023-01-19T18:39:48Z) - Neuro-Symbolic Entropy Regularization [78.16196949641079]
構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。
エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。
我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
論文 参考訳(メタデータ) (2022-01-25T06:23:10Z) - Weakly-Supervised Cross-Domain Adaptation for Endoscopic Lesions
Segmentation [79.58311369297635]
異なるデータセットにまたがるトランスファー可能なドメイン不変知識を探索できる,新しい弱い教師付き病巣移動フレームワークを提案する。
wasserstein quantified transferability frameworkは、広い範囲の転送可能なコンテキスト依存性を強調するために開発されている。
新規な自己監督型擬似ラベル生成器は、送信困難かつ転送容易なターゲットサンプルの両方に対して、確実な擬似ピクセルラベルを等しく提供するように設計されている。
論文 参考訳(メタデータ) (2020-12-08T02:26:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。