論文の概要: An Adjoint-Sensitivity Framework for Lost-in-the-Middle Phenomena in Causal Residual Transformers

• arxiv url: http://arxiv.org/abs/2607.17696v1
• Date: Mon, 20 Jul 2026 08:44:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.554144
• Title: An Adjoint-Sensitivity Framework for Lost-in-the-Middle Phenomena in Causal Residual Transformers
• Title（参考訳）: 因果残差変圧器における損失中間現象の随伴感度フレームワーク
• Abstract要約: 我々は, 因果残差変換器における位置影響に対する随伴感度フレームワークを開発した。 我々は、独立にチェック可能なエネルギー、相関、および局所チャネル境界の下で境界の利点を述べる。
• 参考スコア（独自算出の注目度）: 1.4180331276028662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop an adjoint-sensitivity framework for positional influence in causal residual Transformers and separate unconditional analytic results from conditional boundary-shape conclusions. The principal unconditional theorem is the residual-to-depth-flow estimate for layer controls converging in $L^1$, complemented by a finite-token-to-Volterra attention estimate that explicitly controls the first cells near the causal endpoint. We define a normalized adjoint-energy influence density and derive its exact evolution along full-batch gradient flow. The adjoint admits an exact generator-term decomposition into residual transmission, nonlocal Volterra, and local channels, including all covariance cross terms. Causal masking can amplify early-position sensitivity and residual identity paths can transmit a right-localized terminal bias, but neither mechanism alone forces a U-shaped profile. We therefore state boundary advantages under independently checkable energy, correlation, and local-channel bounds; these conditions are sufficient rather than necessary. Finite-token influence balancing, positional reweighting, and task-aligned observability are presented as diagnostics or regularizers with explicit differentiation requirements, computational costs, and limitations. Controlled simulations illustrate that each intervention controls its designated surrogate, while observability balance or outer-loop reweighting need not monotonically reduce the influence-based Lost-in-the-Middle diagnostic.
• Abstract（参考訳）: 本研究では, 因果残差変換器の位置的影響に対する随伴感度フレームワークを開発し, 条件境界形状の結論から非条件解析結果を分離する。 主無条件定理は、$L^1$に収束する層制御に対する残留-深さ-フロー推定であり、因果終端付近の最初のセルを明示的に制御する有限トーケン-ボルテラアテンション推定によって補完される。 我々は、正規化された随伴エネルギーの影響密度を定義し、その正確な進化をフルバッチ勾配流に沿って導出する。 随伴体は、残差伝達、非局所ボルテラ、および全ての共分散クロス項を含む局所チャネルへの正確な生成的長期分解を許容する。 因果マスクは初期位置の感度を増幅し、残留したアイデンティティパスは右位置の終端バイアスを伝達するが、どちらの機構もU字型プロファイルを強制しない。 したがって、独立にチェック可能なエネルギー、相関、および局所チャネル境界の下で境界の利点を述べる。 差分的影響バランス、位置再重み付け、タスク整列可観測性は、明確な微分要求、計算コスト、制限を備えた診断または正規化器として提示される。 制御されたシミュレーションでは、それぞれの介入が指定されたサロゲートを制御する一方で、可観測性バランスや外ループ再重み付けは影響に基づくLost-in-the-Middle診断を単調に削減する必要はない。

関連論文リスト

• Characterizing Heterogeneous Rates in Finite Mixture Estimation via Partial Optimal Transport [88.55403215843967]
  改良された局所および大域収束保証を得るためのボロノイ系部分最適輸送(VPOT)は、混合測定の最大極大推定器である。 結果は、混合比例が真の混合成分の数についてのゼロまたは以前の知識から一様に制限されることなく、任意の固定次元で保持される。
  論文  参考訳（メタデータ） (2026-09-15T04:32:53Z)
• Finite-Sample Metric Non-Collapse for Geometrically Supervised Latent World Models in Control [0.0]
  非線形決定論系の幾何学的教師付き潜在モデルに対する有限サンプル学習制御理論を確立する。 本稿では,方向分解能と分離状態判別を強制するエンコーダのみの局所的計量ヒンジを提案する。 モジュラー決定論は、学習した証明書を軌跡、有限水平コスト、学習コストヘッド、および論理的保証に転送する一方、検証された有限ネットの結果は、よりシャープなモデル固有の認証を可能にする。
  論文  参考訳（メタデータ） (2026-08-07T14:25:33Z)
• Discrete energy as an exact label-free training objective for finite-element surrogates [0.8125368885437911]
  このノートは、証明とともに、このシグナルを線形エラストスタットに正確に示すアイデンティティを記録している。 硬度ノルムにおけるラベルのない離散エネルギー最小化と教師付き回帰は、各点で同じ一意な最小化と同一の勾配を持つ。
  論文  参考訳（メタデータ） (2026-08-05T22:15:38Z)
• Feed-Forward Steering in Transformer Residual Dynamics [4.109803241412197]
  我々は,各トークン状態に,フィードフォワードネットワーク(FFN)という用語を局所的なステアリングフィールドとして組み込むことで,注目のみのトランスフォーマー残方向を延長する。 得られた理論は、残留方向空間における運動にはFFN場の接成分が必要であると予測する。 現実的な応用として、小さな通勤者欠陥のある層は、わずかに損失が増加するだけでほぼ並列化できる。
  論文  参考訳（メタデータ） (2026-08-03T11:15:31Z)
• A Mean-Field Analysis of Multi-Head Self-Attention under Cross-Entropy Training [0.0]
  本稿では,クロスエントロピー最小化により学習した単一層因果多頭部自己注意モデルの平均場理論について述べる。 無限の上限において、平均的な注意ログは確率測度上のリスク関数を定義し、その最初の変動は非線形ワッサーシュタイン勾配流方程式を生成する。 我々は,PDEの長期的挙動について検討する:エネルギー散逸,コンパクト性の下での定常集合への収束,トポロジカルあるいはクルディカ-オジャシエヴィチ仮定の下での1つの定常測度への収束,勾配支配条件下での明示的な収束率。
  論文  参考訳（メタデータ） (2026-06-09T06:38:27Z)
• Self-Consistent Generative Paths via Admissible Random Variational Transport [14.74009385288423]
  確率経路はいつ自己整合するのか? 自己整合性生成経路を許容可能な局所変分輸送補正のランダムな固定点として定義する。 結果として生じる理論は、エンドポイントマッチングを経路自己整合性テストに変換する。
  論文  参考訳（メタデータ） (2026-06-08T02:56:06Z)
• Trajectory-Aware Node Contributions and the Limits of Static Controllability [0.0]
  エマージェント・コントリビューション(emergent Contributence)とは、ノードの動的レバレッジの尺度である。 「EC」は線形時間不変極限における平均的な制御可能性に正確に還元する。 この位相空間内の複数の領域から推定される実数系を5つ配置する。
  論文  参考訳（メタデータ） (2026-06-02T02:56:36Z)
• The conditional-mean barrier: From deterministic regression to conditional distribution learning [6.160113667162026]
  このチュートリアルでは、条件-平均障壁を中心とした自己完結モジュールを開発する。 平方損失予測器に潜在ランダム性を加えると、条件平均に戻る。 我々は,否定的対数類似度,モーメントとオブザーバブルマッチング,変分目的,逆数分岐,スコアマッチングなどの共通分布目的を短時間に整理する。
  論文  参考訳（メタデータ） (2026-05-27T07:31:42Z)
• Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
  本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。 このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。 安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
  論文  参考訳（メタデータ） (2026-03-07T01:49:59Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
  長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。 CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
  論文  参考訳（メタデータ） (2026-01-06T16:26:40Z)
• Verifying Closed-Loop Contractivity of Learning-Based Controllers via Partitioning [52.23804865017831]
  本稿では,ニューラルネットワークによるパラメータ化を行う非線形制御系における閉ループ収縮の検証問題に対処する。 我々は、対称メッツラー行列の優越的固有値が非正であることを確かめるために、閉ループの縮約性に対するトラクタブルでスケーラブルな十分条件を導出する。
  論文  参考訳（メタデータ） (2025-12-01T23:06:56Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Localisation in quasiperiodic chains: a theory based on convergence of local propagators [68.8204255655161]
  局所プロパゲータの収束に基づく準周期鎖に最も近いホッピングを持つ局所化の理論を提示する。 これらの連続分数の収束、局所化、あるいはその欠如を分析することは可能であり、それによって臨界点とモビリティエッジが帰結する。 結果は、振る舞いの範囲をカバーする3つの準周期モデルの理論を分析することで実証される。
  論文  参考訳（メタデータ） (2021-02-18T16:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。