論文の概要: Inverse-Free Wilson Loops for Transformers: A Practical Diagnostic for Invariance and Order Sensitivity

• arxiv url: http://arxiv.org/abs/2510.08648v1
• Date: Thu, 09 Oct 2025 06:41:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:47.299106
• Title: Inverse-Free Wilson Loops for Transformers: A Practical Diagnostic for Invariance and Order Sensitivity
• Title（参考訳）: 変圧器用逆フリーウィルソンループ--不変性および次数感度の実用診断-
• Authors: Edward Y. Chang, Ethan Y. Chang,
• Abstract要約: WILSONは単純なループと内部表現のチェックをシステム信号に変換する。 WILSONは、簡単なループを変換し、内部表現のチェックをシステム信号に変換する、最小限のポストホック診断スイートである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models can change answers under harmless edits that matter in practice: RAG outputs flip when passages are reordered, fine-tuning erodes invariances learned at pretraining, debate or chain-of-thought prompts take path-dependent routes, and compiler fusion or reordering perturbs logits near decision boundaries. These failures violate intended invariances, break continuous integration, and force teams to trade safety for speed. The effects are small yet distributed across layers and positions, sensitive to context length and evaluation order, and costly to repair with retraining or formal verification. We present WILSON, a minimal post-hoc diagnostic suite that converts simple loop and reordering checks on internal representations into system signals. WILSON combines an inverse-free curvature map over positions and layers, computed with JVPs and Hutchinson probes, with activation-level commutators that flag reorder risk. Signals are cheap to compute, model-agnostic for standard Transformers, and exported as thresholds and CSV artifacts for orchestrators. This enables concrete actions: guard RAG against order effects, catch fine-tuning regressions, stabilize debate pathways and long multi-turn contexts, and gate fusions or reorders in deployment. In short, WILSON helps anticipate failures and approve safe optimizations so reliability and throughput can improve together without changing model architecture or training.
• Abstract（参考訳）: RAGは、パスがリオーダーされたときにフリップを出力し、事前トレーニング時に学んだ細調整されたエローダ不変性、議論やチェーンオブ思想のプロンプトがパス依存のルートを取ること、コンパイラの融合や、決定境界付近のパーターブログの再順序付けを行う。 これらの失敗は意図した不変性に反し、継続的インテグレーションを破り、チームはスピードのために安全をトレードせざるを得ない。 効果は小さいが、レイヤやポジションに分散し、コンテキストの長さや評価順序に敏感であり、再トレーニングや形式検証による修復にはコストがかかる。 WILSONは、簡単なループを変換し、内部表現のチェックをシステム信号に変換する、最小限のポストホック診断スイートである。 WILSONは、位置と層上の逆フリーな曲率マップをJVPとハッチンソンプローブで計算し、アクティベーションレベルの通勤者によってリスクをリオーダーする。 信号は計算が安く、標準トランスフォーマーではモデルに依存しず、オーケストレータのしきい値やCSVアーティファクトとしてエクスポートされる。 これによって、順序効果に対するRAGの保護、微調整のレグレッションのキャッチ、議論経路の安定化、長期にわたるマルチターンコンテキストの安定化、デプロイメントにおけるゲート融合やリオーダなど、具体的なアクションが可能になる。 簡単に言えば、WILSONは失敗を予測し、安全な最適化を保証するため、モデルアーキテクチャやトレーニングを変更することなく、信頼性とスループットを両立させることができる。

関連論文リスト

• FAST-DIPS: Adjoint-Free Analytic Steps and Hard-Constrained Likelihood Correction for Diffusion-Prior Inverse Problems [2.9506605740700107]
  トレーニングなし拡散の先行は、しばしば、繰り返し導関数や、保守的なステップサイズを持つ内部最適化/MCMCループに依存する。 本研究では、これらの内部ループをハードな測定空間実現可能性制約で置き換える訓練不要な解法を提案する。 実験はPSNR/SSIM/LPIPSと最大19.5$times$のスピードアップで、手書きのアジョイントや内部MCMCを使わずに、競争力のあるPSNR/SSIM/LPIPSを実現する。
  論文  参考訳（メタデータ） (2026-03-02T08:17:26Z)
• TRACE: Theoretical Risk Attribution under Covariate-shift Effects [4.211510706776732]
  ソースをトレーニングしたモデル$Q$を、シフトしたデータに基づいてトレーニングされたモデル$tildeQ$に置き換えると、ソースドメインのパフォーマンスは予測不能に変化する可能性がある。 TRACEは$|R|$を解釈可能な上界に分解するフレームワークである。
  論文  参考訳（メタデータ） (2026-02-11T07:22:33Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• zkCraft: Prompt-Guided LLM as a Zero-Shot Mutation Pattern Oracle for TCCT-Powered ZK Fuzzing [7.274627641804014]
  zkCraftは決定論的、R1CS対応のローカライゼーションと証明付き検索を組み合わせて意味的不整合を検出するフレームワークである。 証明付きローカライゼーションは, 偽陽性が低い多彩な下限および過制約の断層を検出し, コストのかかるソルバ相互作用を低減できることを示す。
  論文  参考訳（メタデータ） (2026-01-31T11:31:00Z)
• Parallel Decoder Transformer: Model-Internal Parallel Decoding with Speculative Invariance via Note Conditioning [0.0]
  textbfParallel Decoder Transformer (PDT)は,凍結事前学習モデルの推論プロセスに直接調整プリミティブを埋め込むパラメータ効率の高いアーキテクチャである。 PDTは効果的な自己補正を達成し、カバレッジ予測の精度は textbf77.8% に達し、トランク重量を変更することなく近似シリアルセマンティクスを復元する。
  論文  参考訳（メタデータ） (2025-12-10T20:19:10Z)
• Probing Pre-trained Language Models on Code Changes: Insights from ReDef, a High-Confidence Just-in-Time Defect Prediction Dataset [0.0]
  本稿では,22の大規模C/C++プロジェクトから得られた関数レベル修正の信頼性の高いベンチマークであるReDefを紹介する。 欠陥ケースはコミットの反転によって固定され、クリーンケースはポストホック履歴チェックによって検証される。 このパイプラインは3,164の欠陥と10,268のクリーンな修正をもたらし、既存のリソースよりも信頼性の高いラベルを提供する。
  論文  参考訳（メタデータ） (2025-09-11T07:07:11Z)
• Command-V: Pasting LLM Behaviors via Activation Profiles [67.07238260037839]
  Command-Vはバックプロパゲーションフリーな行動伝達法である。 既存の残留活性化アダプタをドナーモデルからコピーし、その効果を受信モデルに貼り付ける。
  論文  参考訳（メタデータ） (2025-06-23T21:21:49Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [61.79405341803085]
  低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。 低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。