論文の概要: Swiss-Knife: A Framework for Reconfigurable Externalised Multi-Objective Alignment at Decode Time

• arxiv url: http://arxiv.org/abs/2609.22226v1
• Date: Thu, 03 Sep 2026 01:31:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.793262
• Title: Swiss-Knife: A Framework for Reconfigurable Externalised Multi-Objective Alignment at Decode Time
• Title（参考訳）: Swiss-Knife:デコード時の外部化多目的アライメントを再構成可能なフレームワーク
• Abstract要約: デコード時アライメント手法は、外部報酬で候補継続をスコアし、最大値を選択することで、凍結した言語モデルを操る。 この共有設計は、より広い空間における単一の退化点であると主張する。 外部化多目的アライメントのためのフレームワークであるSwiss-Knifeを紹介する。
• 参考スコア（独自算出の注目度）: 15.488868543232664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decode-time alignment methods steer a frozen language model by scoring candidate continuations with an external reward and selecting the maximiser. We argue that this shared design is a single degenerate point in a much larger space. We introduce Swiss-Knife, a framework for externalised multi-objective alignment in which the alignment specification is a first-class runtime object: hot-swappable scoring blades, a batch normaliser, a pairwise aggregation operator, and a selection rule. Six axioms characterise the admissible aggregation operators, and we prove a representation theorem: every operator satisfying them has the form $R_i = \sum_{j \neq i} g((μ_i - μ_j)/s(σ_i,σ_j))$, a two-parameter family containing probit and logistic comparison rules and pointwise argmax as named coordinates. Within it, pairwise aggregation is Lipschitz-stable under adversarial reward contamination while argmax is not, and Candidate-Batch Normalization (CBN) makes the weight simplex invariant to the rescalings under which reward models are only ever identified. Our reference instantiation pairs DPO-LoRA blades with an uncertainty-aware pairwise tournament. Sweeping the helpfulness/honesty/harmlessness simplex, it attains the best balanced frontier of six decode-time methods (harmonic $F_1$ 0.797 vs. 0.750 for the strongest baseline, $p < 10^{-14}$) with the lowest refusal rate and highest helpfulness of any arm, and reconfigures its objectives in 0.05 ms with no gradient computation. Ablating CBN costs 0.217 $F_1$, and the metadata confirms the predicted mechanism: the lowest-variance blade retains 9% of its nominal 33% influence, and the collapse follows the predicted ordering.
• Abstract（参考訳）: デコード時アライメント手法は、外部報酬で候補継続をスコアし、最大値を選択することで、凍結した言語モデルを操る。 この共有設計は、より広い空間における単一の退化点であると主張する。 本稿では,アライメント仕様を第1級ランタイムオブジェクトとする外部化多目的アライメントフレームワークであるSwiss-Knifeを紹介する。 R_i = \sum_{j \neq i} g((μ_i - μ_j)/s(σ_i,σ_j))$, {\displaystyle $R_i=\sum_{j \neq i} g((μ_i - μ_j)/s(σ_j))$,} プロビトおよびロジスティック比較規則と名前付き座標としての点次argmaxを含む2パラメータ族。 その内部では、対のアグリゲーションは、argmaxが存在しない間は逆の報酬汚染の下でリプシッツ安定であり、CBN(Candidate-Batch Normalization)は、報酬モデルしか特定されないリスケーリングの重みを不変にしている。 基準インスタンス化はDPO-LoRAブレードと不確実性を考慮したペアトーナメントをペア化する。 6つのデコード時間法(ハーモニック$F_1$0.797 vs. 0.750、最強ベースライン$p < 10^{-14}$)の最もバランスのとれたフロンティアを獲得し、任意のアームの最も低い拒絶率と最大の有用性を持ち、その目的を勾配計算なしで0.05msで再構成する。 CBNのアブラティングコストは0.217ドルF_1$で、メタデータは予測されたメカニズムを裏付ける: 最低分散ブレードはその名目上の33%の影響の9%を保持し、崩壊は予測された順序に従っている。

関連論文リスト

• Steering Equilibrium Selection in Regularized Self-Play via the Reference Policy [0.0]
  セルフプレイは2つのプレイヤーゼロサムポリシーをナッシュ均衡に駆動する。 一様参照で、最大等エントロピー部材を選択する。 基準は、目的に応じて均衡を選択するために使用できますか?
  論文  参考訳（メタデータ） (2026-09-17T07:30:23Z)
• Drift Variation Autoencoder: Unifying Generation and Representation Learning through Conditional Posterior Flow Matching [0.0]
  この研究は、条件生成の共通統計対象として対応する後続の$P(Xmid C)$を取る。 ドリフト変動オートエンコーダは、マスク付きエンコーダ$Z=E(C)$と、1つのきれいな予測フローマッチング損失を持つ条件付きフローデコーダを訓練する。
  論文  参考訳（メタデータ） (2026-08-25T20:38:50Z)
• Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
  分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。 我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
  論文  参考訳（メタデータ） (2026-08-06T19:49:48Z)
• Adaptive operator-generated subspaces for effective many-body Hamiltonians [0.0]
  適応型Clifford-Algebra Subspacesolver (A-CASE) について述べる。 オーバーラップ、ハミルトン、観測可能、および応答行列は、共通のパウリ観測バンクから再構成される。 グループ化された反復は、しきい値、ルートマッチング、スペクトル重み、感受性、拡張を通じて有限ショットの変動を伝播する。
  論文  参考訳（メタデータ） (2026-08-01T09:51:25Z)
• Wall-Clock Complexity for Zeroth-Order Optimization with Tunable Oracle Fidelity [68.54852541944625]
  ブラックボックス最適化は勾配が利用できない場合に適用され、客観的評価は高価なシミュレーションに依存する。 本稿では, オラクル型, ノイズモデル, 最適化方式の選択が, アルゴリズムパラメータに対する壁面最適選択をいかに引き起こすかを示す。
  論文  参考訳（メタデータ） (2026-05-29T14:24:54Z)
• Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
  JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。 自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。 我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
  論文  参考訳（メタデータ） (2026-05-14T20:27:32Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• A Preliminary Agentic Framework for Matrix Deflation [2.6140509675507384]
  本稿では,解法がランク1を更新し,いつ停止するかを決定する,行列デフレに対するエージェント的アプローチを提案する。 Digits (8times 8$), CIFAR-10 (32times32$ grayscale), 合成 (16times16$) の行列をガウス雑音と無雑音で評価した。 全ての設定において、エージェントは競合する結果を達成し、古典的な数値アルゴリズムの代替として、完全にエージェント的、しきい値のないデフレが実現可能であることを示唆している。
  論文  参考訳（メタデータ） (2026-01-06T23:59:18Z)
• Combinatorial Stochastic-Greedy Bandit [79.1700188160944]
  我々は,選択した$n$のアームセットのジョイント報酬以外の余分な情報が観測されない場合に,マルチアームのバンディット問題に対する新規グリーディ・バンディット(SGB)アルゴリズムを提案する。 SGBは最適化された拡張型コミットアプローチを採用しており、ベースアームの大きなセットを持つシナリオ用に特別に設計されている。
  論文  参考訳（メタデータ） (2023-12-13T11:08:25Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。