論文の概要: Counterexamples to Local Reconstruction Gain as a Proxy for Final Fidelity in Residual Completion
- arxiv url: http://arxiv.org/abs/2609.34063v1
- Date: Mon, 28 Sep 2026 00:42:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 07:22:01.093504
- Title: Counterexamples to Local Reconstruction Gain as a Proxy for Final Fidelity in Residual Completion
- Title（参考訳）: 遺残補修における最終忠実性のプロキシとしての局所再建への反例
- Abstract要約: 残余補完は、厳密なスパース計算から省略されたトークンの寄与を推定することにより、クエリ対応スパース注意を増大させる。
トレーニングフリーのRESAを学習し,冷凍バックボーン言語モデルを用いてTop-K+$を学習した。
- 参考スコア（独自算出の注目度）: 3.1897721055763024
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Residual completion augments query-aware sparse attention by estimating the contribution of tokens omitted from the exact sparse computation. We ask whether improving a layer's attention-output reconstruction on the same incoming Q/K/V and selected support necessarily improves the fidelity of the final model output. We study training-free RESA and learned Top-K+$φ$ with frozen backbone language models. A prespecified single-layer screen yields two Qwen3-0.6B/Multi-LexSum interventions for which direct-runtime measurements show positive prespecified request-aggregate local reconstruction gain but worse final KL fidelity than the corresponding all-abstain Exact Top-K baseline on both discovery and prompt-token-disjoint holdout requests. Exact restoration at the same layer instead improves final fidelity, showing that the reversal is specific to approximate completion in these cases. In complementary multi-layer experiments, a task-independent local diagnostic often repairs the tested completion estimators, although the repaired models do not consistently outperform Exact Top-K. Together, these results show that better local reconstruction need not translate into better final-model fidelity.
- Abstract（参考訳）: 残余補完は、厳密なスパース計算から省略されたトークンの寄与を推定することにより、クエリ対応スパース注意を増大させる。
我々は、同じ入ってくるQ/K/V上でのレイヤの注意出力再構成を改善し、選択されたサポートが最終的なモデル出力の忠実度を必然的に向上させるかどうかを問う。
トレーニングフリーのRESAを学習し,冷凍バックボーン言語モデルを用いてTop-K+$φ$を学習した。
事前指定された単層スクリーンは、2つのQwen3-0.6B/Multi-LexSum介入を発生させ、直接実行時測定により、前向きな要求集約ローカルリコンストラクションゲインを示すが、それより悪い最終KLフィディリティは、発見と即時応答接続要求の両方において対応するTop-Kベースラインよりも大きい。
同じ層での厳密な復元は最終忠実度を向上させ、これらの場合の逆転は近似完備化に特有であることを示す。
相補的な多層実験では、タスク非依存の局所診断がテストされた完了推定器を修復することが多いが、修復されたモデルが常にTop-Kより優れているわけではない。
これらの結果から, より優れた局所的再構成は, より優れた最終モデルの忠実度に変換する必要はないことが示唆された。
関連論文リスト
- MeshHeal: Two-Timescale Self-Healing for Gray Failures in Decentralized LLM Agent Networks [60.95806999869478]
MeshHealは、完全に分散化された自己修復フレームワークである。
能力にマッチしたピアレビューを2つのタイムスケールに分けている。
1タスクあたり51kのトータルモデルトークンを使用して0.839の劣化位相精度を達成し、最強のベースラインでは1タスクあたり115kの0.807の精度を達成した。
論文 参考訳（メタデータ） (2026-09-24T04:29:37Z) - ERR+: Sequential Entropy Resolution for Efficient and Decisive LLM Reasoning [13.033342249823022]
大規模推論モデルのための2相RLVRフレームワークを提案する。
第1段階はエントロピー・リリーフ・リワード (ERR) で、累積トークンレベル・エントロピー・ドロップに比例するボーナスを思考フェーズで行う。
第2フェーズでは、ロバスト相対効率逆転(Robust Relative efficiency Reward)を導入し、それぞれが生成したピアに対してレスポンスの長さをスコアする。
論文 参考訳（メタデータ） (2026-08-28T18:28:50Z) - Disjoint or Overlapping? Inference Windowing for Reconstruction-Based Time Series Anomaly Detection [1.5439079597766574]
本研究では,サブシーケンスが不整合ウィンドウとして処理されるか,重なり合うかを制御する推論ストライドの役割について検討する。
本稿では、TSB-ADベンチマーク上で、統一的なトレーニング、チューニング、およびマルチシード評価プロトコルを提案する。
重なり合うウィンドウは、平均的な相対的なゲインが+28%まで向上し、メソッドランキングを変更することができることを示す。
論文 参考訳（メタデータ） (2026-06-02T19:42:30Z) - Next-Acceleration-Scale Prediction for Autoregressive MRI Reconstruction [52.32112533846212]
MRI再建は本質的に不完全な逆問題である。
この制限は、再構成を離散的なマルチスケールの潜在空間に移動させ、自己回帰的次加速スケールの予測として機能させることによって解決する。
提案手法は,過度のアンサンプ下での多種多様なサンプリングパターンの再構成性能の向上を図っている。
論文 参考訳（メタデータ） (2026-05-19T04:40:50Z) - MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization [42.904834974723535]
モジュール適応残差再構成(MARR)を提案する。
MARRはモジュール固有のスケーリング係数を割り当て、各モジュールに対して累積エラー補正と残留関連HAバイアスを適応的にバランスさせる。
いくつかの典型的な大規模言語モデル(LLM)と視覚変換器(ViT)の実験は、低ビット量子化下でのMARRの有効性を実証している。
論文 参考訳（メタデータ） (2026-05-18T07:51:49Z) - Data Reconstruction: Identifiability and Optimization with Sample Splitting [28.085421010299758]
KKT条件からのトレーニングデータ再構成は、経験的成功を示している。
結果のKKT方程式が、いつユニークな解を持つのか、また、特定可能な状態であっても、最適化によってどのように確実に解を回復するかは定かではない。
論文 参考訳（メタデータ） (2026-02-09T14:33:19Z) - A Free Lunch in LLM Compression: Revisiting Retraining after Pruning [23.87950717135044]
刈り込み後の残りの重量を復元または再訓練する際の鍵となる設計選択について検討する。
特に,各変圧器ブロック内の注意とコンポーネントを別々に再構成することは,最も資源効率が良いが,最も難易度が高い。
以上の結果から,再トレーニングはあらゆるコストで避けるべきという物語に挑戦し,再トレーニング後のパフォーマンス回復に重要な洞察を与えることができた。
論文 参考訳（メタデータ） (2025-10-16T08:43:09Z) - Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。
提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
論文 参考訳（メタデータ） (2025-06-10T12:59:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。