論文の概要: Safe Inference-Time Alignment via Lagrangian Reward Augmentation

• arxiv url: http://arxiv.org/abs/2607.02781v1
• Date: Thu, 02 Jul 2026 21:27:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.419982
• Title: Safe Inference-Time Alignment via Lagrangian Reward Augmentation
• Title（参考訳）: Lagrangian Reward Augmentationによる安全な推論時間アライメント
• Abstract要約: 推論時アライメントは、補助的な報酬信号を用いた復号中にフリーズ言語モデルを操る。 安全制約下での一般的な推論時間アライメントフレームワークであるLagrangian Reward Augmentation (LARA)を提案する。 シーケンスレベルの推論時間アライメント法とトークンレベルの推論時間アライメント法の両方でLARAを評価し,LARAが有用性と無害性のトレードオフを改善することを発見した。
• 参考スコア（独自算出の注目度）: 10.37343121248029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inference-time alignment steers a frozen language model during decoding using auxiliary reward signals, avoiding the cost of repeated weight updates. However, existing inference-time alignment methods typically optimize a single scalar score, so explicit safety constraints must either be ignored or encoded through manually tuned penalties. We propose Lagrangian Reward Augmentation (LARA), a general inference-time alignment framework under safety constraints. Starting from a KL-regularized constrained objective with a reward model and a cost model, LARA dualizes the constraint and reduces the optimization problem to a one-dimensional convex problem over a nonnegative dual variable. Estimated on a small calibration set, this dual variable defines an augmented reward that can be used as a drop-in scoring signal within existing inference-time alignment methods. For sequence-level sampling methods, such as Best-of-N reranking, the calibrated dual variable corresponds to the solution of the expected-cost constrained problem. For token-level reward-guided decoding methods, the same construction yields a principled dual-calibrated heuristic rather than an exact constrained-policy guarantee. We evaluate LARA on both sequence-level and token-level inference-time alignment methods, and find that LARA improves the helpfulness-harmlessness tradeoff, with Best-of-N achieving the best performance among inference-time methods, approaching finetuning-based direct alignment baselines.
• Abstract（参考訳）: 推論時アライメントは、補助的な報酬信号を用いた復号中にフリーズ言語モデルを操り、繰り返しの重み更新のコストを回避する。 しかし、既存の推論時アライメント手法は、通常、1つのスカラースコアを最適化するので、明示的な安全制約を無視するか、手動でチューニングされた罰則によってエンコードする必要がある。 安全制約下での一般的な推論時間アライメントフレームワークであるLagrangian Reward Augmentation (LARA)を提案する。 報酬モデルとコストモデルを備えたKL正規化制約対象から始めて、LARAは制約を双対化し、非負の双対変数上の一次元凸問題に最適化問題を還元する。 小さなキャリブレーションセットに基づいて推定されるこの双対変数は、既存の推論時間アライメント手法でドロップインスコアリング信号として使用できる拡張報酬を定義する。 Best-of-N のようなシーケンスレベルのサンプリング法では、キャリブレーションされた二重変数は予測コスト制約問題の解に対応する。 トークンレベルの報酬誘導復号法では、同じ構成は、厳密な制約付き政治保証よりも、原則付き二重校正ヒューリスティックをもたらす。 我々はLARAをシーケンスレベルとトークンレベルの推論時アライメント法の両方で評価し、LARAが有用性と無害性のトレードオフを改善し、Best-of-Nは推論時メソッド間で最高のパフォーマンスを達成し、微調整に基づく直接アライメントベースラインに近づいた。

関連論文リスト

• Provable Parameter-Free Fixed-Point Algorithms with Linear Convergence Rates [3.2919103562171865]
  本研究では, パラメータフリーかつ適応的不動点アルゴリズムを開発した。 固定点残差と一意な固定点の距離の両方に対して、明示的な線形収束率を確立する。 いくつかの例における数値実験により、提案アルゴリズムは既存の適応的不動点法と競合し、しばしば優れることを示した。
  論文  参考訳（メタデータ） (2026-08-10T02:25:00Z)
• Simultaneous Coverage and Efficiency Guarantee in Online Conformal Prediction [5.533296779866529]
  GibbsとCandsの適応共形推論(ACI)とその変種は、分散シフトの下でのオンライン共形予測に対する標準的なアプローチである。 既存の保証は予測セットのサイズについて何も言及しないので、不完全な予測セットのコストで、妥当性は自明に達成できる。 絶対的かつ最適でないカバレッジ違反と予測セット効率を同時に制御する統合オンライン学習フレームワークを検討する。
  論文  参考訳（メタデータ） (2026-07-29T07:56:59Z)
• DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding [59.16244104797919]
  本稿では,リスク制約付き復号法(DARC)*による分散アライメント(Disagreement-Aware Alignment)を提案する。 DARCは応答選択を、分布的に堅牢で、リスクに敏感な意思決定として捉えている。 アライメントベンチマークの実験では、DARCは競合平均品質を維持しながら、不一致と尾のリスクを低減する。
  論文  参考訳（メタデータ） (2026-03-09T09:21:29Z)
• Unifying Stable Optimization and Reference Regularization in RLHF [64.16830602324345]
  本稿では、報酬ハッキングの防止と安定したポリシー更新の維持を目標とする統一正規化手法を提案する。 我々の単純で原則化されたアライメント目的は、監督された微調整の損失を軽減し、優れたトレードオフをもたらし、アライメント結果と実装の複雑さの両方を明らかに改善する。
  論文  参考訳（メタデータ） (2026-02-12T03:31:19Z)
• Certifiable Safe RLHF: Fixed-Penalty Constraint Optimization for Safer Language Models [7.422627253922975]
  我々は,大規模コーパスでトレーニングされたコストモデルであるCertifiable Safe-RLHFを導入し,セマンティックグラウンドの安全性スコアを割り当てる。 適切にスケールされたペナルティにより、二重変数更新の必要性を排除し、安全制約の実現性を保証することができる。 経験的評価により、CS-RLHFは、名目や脱獄のプロンプトに対して、最先端のモデル応答よりも5倍効率が高いことが示されている。
  論文  参考訳（メタデータ） (2025-10-03T21:24:41Z)
• Constrained Linear Thompson Sampling [39.724313550777715]
  Constrained Linear Thompson Sampling (COLTS)は、摂動線形プログラムを解くことでアクションを選択するサンプリングベースのフレームワークである。 S-COLTSはゼロリスクと$widetildeO(sqrtd3 T)を許容するが、R-COLTSは$widetildeO(sqrtd3 T)を許容する。
  論文  参考訳（メタデータ） (2025-03-03T20:44:58Z)
• InfAlign: Inference-aware language model alignment [58.66389179049758]
  言語モデルのアライメントは、現代の生成言語モデルのトレーニングにおける重要なステップである。 この列車/テストのミスマッチは、推論時間法の観点から標準のRLHFフレームワークを最適化することを示す。 本稿では,ベースモデルに対するアライメントポリシーの予測時間勝利率を最適化することを目的とした,推論対応アライメント(InfAlign)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-27T18:45:36Z)
• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• One-Shot Safety Alignment for Large Language Models via Optimal Dualization [64.52223677468861]
  本稿では,制約付きアライメントを等価な非制約アライメント問題に還元する双対化の観点を提案する。 我々は、閉形式を持つ滑らかで凸な双対函数を事前に最適化する。 我々の戦略は、モデルベースと嗜好ベースの設定における2つの実用的なアルゴリズムに導かれる。
  論文  参考訳（メタデータ） (2024-05-29T22:12:52Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• A Stochastic Composite Augmented Lagrangian Method For Reinforcement Learning [9.204659134755795]
  深層強化学習のための線形プログラミング(LP)の定式化について検討する。 拡張ラグランジアン法は、LPの解法において二重サンプリング障害に悩まされる。 深層パラメタライズされたラグランジアン法を提案する。
  論文  参考訳（メタデータ） (2021-05-20T13:08:06Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。