論文の概要: Inverse-Free Wilson Loops for Transformers: A Practical Diagnostic for Invariance and Order Sensitivity

• arxiv url: http://arxiv.org/abs/2510.08648v1
• Date: Thu, 09 Oct 2025 06:41:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:47.299106
• Title: Inverse-Free Wilson Loops for Transformers: A Practical Diagnostic for Invariance and Order Sensitivity
• Title（参考訳）: 変圧器用逆フリーウィルソンループ--不変性および次数感度の実用診断-
• Authors: Edward Y. Chang, Ethan Y. Chang,
• Abstract要約: WILSONは単純なループと内部表現のチェックをシステム信号に変換する。 WILSONは、簡単なループを変換し、内部表現のチェックをシステム信号に変換する、最小限のポストホック診断スイートである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models can change answers under harmless edits that matter in practice: RAG outputs flip when passages are reordered, fine-tuning erodes invariances learned at pretraining, debate or chain-of-thought prompts take path-dependent routes, and compiler fusion or reordering perturbs logits near decision boundaries. These failures violate intended invariances, break continuous integration, and force teams to trade safety for speed. The effects are small yet distributed across layers and positions, sensitive to context length and evaluation order, and costly to repair with retraining or formal verification. We present WILSON, a minimal post-hoc diagnostic suite that converts simple loop and reordering checks on internal representations into system signals. WILSON combines an inverse-free curvature map over positions and layers, computed with JVPs and Hutchinson probes, with activation-level commutators that flag reorder risk. Signals are cheap to compute, model-agnostic for standard Transformers, and exported as thresholds and CSV artifacts for orchestrators. This enables concrete actions: guard RAG against order effects, catch fine-tuning regressions, stabilize debate pathways and long multi-turn contexts, and gate fusions or reorders in deployment. In short, WILSON helps anticipate failures and approve safe optimizations so reliability and throughput can improve together without changing model architecture or training.
• Abstract（参考訳）: RAGは、パスがリオーダーされたときにフリップを出力し、事前トレーニング時に学んだ細調整されたエローダ不変性、議論やチェーンオブ思想のプロンプトがパス依存のルートを取ること、コンパイラの融合や、決定境界付近のパーターブログの再順序付けを行う。 これらの失敗は意図した不変性に反し、継続的インテグレーションを破り、チームはスピードのために安全をトレードせざるを得ない。 効果は小さいが、レイヤやポジションに分散し、コンテキストの長さや評価順序に敏感であり、再トレーニングや形式検証による修復にはコストがかかる。 WILSONは、簡単なループを変換し、内部表現のチェックをシステム信号に変換する、最小限のポストホック診断スイートである。 WILSONは、位置と層上の逆フリーな曲率マップをJVPとハッチンソンプローブで計算し、アクティベーションレベルの通勤者によってリスクをリオーダーする。 信号は計算が安く、標準トランスフォーマーではモデルに依存しず、オーケストレータのしきい値やCSVアーティファクトとしてエクスポートされる。 これによって、順序効果に対するRAGの保護、微調整のレグレッションのキャッチ、議論経路の安定化、長期にわたるマルチターンコンテキストの安定化、デプロイメントにおけるゲート融合やリオーダなど、具体的なアクションが可能になる。 簡単に言えば、WILSONは失敗を予測し、安全な最適化を保証するため、モデルアーキテクチャやトレーニングを変更することなく、信頼性とスループットを両立させることができる。

関連論文リスト

• Probing Pre-trained Language Models on Code Changes: Insights from ReDef, a High-Confidence Just-in-Time Defect Prediction Dataset [0.0]
  本稿では,22の大規模C/C++プロジェクトから得られた関数レベル修正の信頼性の高いベンチマークであるReDefを紹介する。 欠陥ケースはコミットの反転によって固定され、クリーンケースはポストホック履歴チェックによって検証される。 このパイプラインは3,164の欠陥と10,268のクリーンな修正をもたらし、既存のリソースよりも信頼性の高いラベルを提供する。
  論文  参考訳（メタデータ） (2025-09-11T07:07:11Z)
• Command-V: Pasting LLM Behaviors via Activation Profiles [67.07238260037839]
  Command-Vはバックプロパゲーションフリーな行動伝達法である。 既存の残留活性化アダプタをドナーモデルからコピーし、その効果を受信モデルに貼り付ける。
  論文  参考訳（メタデータ） (2025-06-23T21:21:49Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [61.79405341803085]
  低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。 低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。