論文の概要: Only Project Once: Projection-Adaptive Loss for Exact Constraint Satisfaction

• arxiv url: http://arxiv.org/abs/2610.04572v1
• Date: Sat, 03 Oct 2026 15:08:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 18:41:19.995499
• Title: Only Project Once: Projection-Adaptive Loss for Exact Constraint Satisfaction
• Title（参考訳）: 一度のプロジェクト: 厳密な制約満足のために投射適応的な損失
• Abstract要約: 現在の方法では、トレーニングにおいて複数の修復ステップをアンロールし、アンロール後に残る制約違反をソフトに罰する。 これは計算とメモリ集約であり、修復が収束しないときに堅牢性が欠如し、修復に制約を満たす作業の大部分を放棄する。 我々は、この単一ステップ後の制約残差を用いて、生の予測に制約を適応的に重み付けするプロジェクション・アダプティブ・ロス(PAL)を用いてこれを実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Precise constraint satisfaction is a prerequisite to deploying learned models in many areas, motivating methods that repair raw neural predictions with a repair procedure. Current methods unroll multiple repair steps in training and softly penalize constraint violations that remain after the unroll. This is compute- and memory-intensive, lacks robustness when the repair fails to converge, and surrenders most of the constraint satisfaction work to the repair. Our central finding is that, contrary to common practice, a single detached projection step suffices in training. We accomplish this with a Projection-Adaptive Loss (PAL), which uses the constraint residual after this single step to adaptively weigh constraint penalties on the raw prediction. In experiments, PAL is the only method that retains virtually perfect feasibility on extremely nonlinear constraints, and matches or outperforms current methods on synthetic and engineering benchmarks. Because it only requires a single detached projection step, PAL trains 2.5x faster than the canonical repair-based method (DC3) on its own ACOPF benchmark. PAL can also be trained when constraints are expensive to evaluate (e.g., via neural surrogates), a setting where current unrolled methods are memory-intractable.
• Abstract（参考訳）: 正確な制約満足度は、学習したモデルを多くの領域に展開する上で必須であり、修復手順で生の神経予測を修復する動機付け手法である。 現在の方法では、トレーニングにおいて複数の修復ステップをアンロールし、アンロール後に残る制約違反をソフトに罰する。 これは計算とメモリ集約であり、修復が収束しないときに堅牢性が欠如し、制約満足度の大部分を修復に投降する。 私たちの中心的な発見は、一般的な実践とは対照的に、トレーニングにおいて1つの分離されたプロジェクションステップが十分であることです。 我々は、この単一ステップ後の制約残差を用いて、生の予測に制約を適応的に重み付けするプロジェクション・アダプティブ・ロス(PAL)を用いてこれを実現する。 実験では、PALは極端に非線形な制約に対する事実上完全な実現可能性を維持する唯一の方法であり、合成と工学のベンチマークで現在の手法と一致したり、性能を上回ったりしている。 単発のプロジェクションステップのみを必要とするため、PALは独自のACOPFベンチマークで標準補修法(DC3)よりも2.5倍高速で走行する。 PALはまた、制約が高価な場合(例えば、ニューラルサロゲートを介して)にトレーニングすることもできる。

関連論文リスト

• WARP: Guaranteed Inner-Layer Repair of NLP Transformers [4.191577542171072]
  本稿では, Transformer モデルの最後のレイヤを超えて修復を拡張可能な制約ベースの修復フレームワークである WARP を提案する。 WARPは、対数ギャップの1次線形化から導かれる凸二次プログラムとして修復を定式化する。 WARP は軽度の仮定の下で全ての補修制約を満たす解に収束することを示す。
  論文  参考訳（メタデータ） (2026-04-01T14:12:49Z)
• RaBiT: Residual-Aware Binarization Training for Accurate and Efficient LLMs [5.782015253162346]
  残留バイナライゼーションは、バイナリ層を積み重ねることで、マットルフリーな推論を可能にする。 本稿では,残差階層をアルゴリズム的に強制することでコダプタ化を解決する新しい量子化フレームワークであるRaBiTを提案する。 RaBiTは最先端のパフォーマンスを実現し、ハードウェア集約型ベクトル量子化(VQ)の手法と競合する。
  論文  参考訳（メタデータ） (2026-02-05T06:41:11Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Instance-dependent Early Stopping [57.912273923450726]
  本稿では,早期停止機構をトレーニングセット全体からインスタンスレベルに適応させる,インスタンス依存早期停止(IES)手法を提案する。 IES は、損失値の2階差が 0 付近の小さな範囲に留まっている場合、インスタンスをマスタードとみなす。 IESは、モデルのテスト精度と転送学習性能を維持したり、わずかに改善したりしながら、バックプロパゲーションインスタンスを10%から50%削減することができる。
  論文  参考訳（メタデータ） (2025-02-11T13:34:09Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。