論文の概要: The Arbitrary-Placement Problem in Entropy-Minimizing Selection, and a Residual-Entropy Formulation
- arxiv url: http://arxiv.org/abs/2610.05925v1
- Date: Mon, 05 Oct 2026 07:44:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 03:11:56.767354
- Title: The Arbitrary-Placement Problem in Entropy-Minimizing Selection, and a Residual-Entropy Formulation
- Title（参考訳）: エントロピー最小化選択における任意配置問題と残留エントロピーの定式化
- Abstract要約: D = -mathrmKL(p_AVert p_) - $, $$はスコアによる分布と信頼プロファイルが同じ候補を好むかどうかを測定する。
境界ケースは基本的な安全性を確立している: 均一な信頼の下では、Dleq0$は自動的に$Dleq0である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Entropy-based selection objectives suffer from a fundamental degeneracy: minimizing Shannon entropy $H(p_A)$ rewards confident selection regardless of whether the selected candidate is informative. We address this limitation with the residual entropy $D = H(p_A) - H(p_β)$, where $p_β$ is induced by candidate trust weights. We prove the exact identity $D = -\mathrm{KL}(p_A\Vert p_β) - Δ$, where $Δ$ measures whether the score-induced distribution and trust profile favor the same candidates. Boundary cases establish basic safety: under uniform trust, $D\leq0$ automatically, so an equal-trust, non-starving state is never penalized, while at any one-hot limit, $D\to0$ regardless of the selected candidate. For the intermediate regime where selection occurs, we prove that $D\leq0$ when candidate ordering by trust agrees pairwise with ordering by informativeness, and derive a tighter certificate based on the leading candidate's margin over its competitors. These results are independent of the candidate-scoring function and apply to both stationary and dynamically changing information. Experiments with a gradient-based mixture-of-experts router confirm that the ordering conditions can hold during real optimization and show that correct ordering improves downstream performance when candidates are non-interchangeable and selections are used directly rather than averaged. Beyond routing, margin-based reweighting matches or outperforms fixed-strength baselines in a class-imbalance task, while informative selection in a production video-prediction system reduces MSE by approximately 20$\%$ and transfers to a related species. Residual entropy, therefore, provides a safety criterion for selection and a usable signal for deciding when that selection is informative.
- Abstract（参考訳）: シャノンエントロピーを最小化する$H(p_A)$は、選択された候補が情報的であるかどうかに関わらず、確実な選択を報いる。
この制限は、残エントロピー$D = H(p_A) - H(p_β)$で対処する。
D = -\mathrm{KL}(p_A\Vert p_β) - Δ$。
統一された信頼の下では、$D\leq0$ が自動的に設定され、従って、等しい信頼の無い非消滅状態がペナルティ化されることはないが、任意の1ホット制限において、選択された候補に関係なく$D\to0$ が与えられる。
選考が行われる中間的体制において、信頼による候補者の発注が情報による命令と対等に一致する場合、$D\leq0$を証明し、その競争相手に対する有力候補の利益率に基づいてより厳密な証明書を導出する。
これらの結果は候補スコア機能とは独立であり、定常情報と動的情報の両方に適用できる。
グラディショナル・オブ・エキスパート・ルータを用いた実験では、実際の最適化中に順序付け条件が保たれることを確認し、候補が交換不能で選択が平均ではなく直接使用される場合、正しい順序付けが下流性能を改善することを示した。
ルーティングの他に、マージンベースのリウェイトは、クラス不均衡タスクにおいて固定強度ベースラインを上回り、プロダクションビデオ予測システムにおける情報選択は、MSEを約20$\%削減し、関連する種に転送する。
したがって、残留エントロピーは、選択のための安全基準と、その選択がいつ通知されるかを決定するための使用可能な信号を提供する。
関連論文リスト
- From Truncation to Commitment: Persistent Context in Uniform Discrete Diffusion [5.2262942936091905]
均一状態の離散拡散モデルは、すべての位置を変更可能にしながら、すべてのトークンを並列に更新する。
我々は、選択したargmaxトークンを格納し、その後のモデル入力に挿入する訓練不要なサンプルである、コミット露光サンプリング(CRS)を提案する。
論文 参考訳（メタデータ） (2026-09-01T10:43:24Z) - Selection, Recombination, or a Fresh Solve? A Candidate-Free Control for Single-Pass Test-Time Aggregation [0.0]
すべての候補が間違っている場合、正しい候補の選択はできないが、アグリゲーションコールは依然として問題を未然に解決することができる。
最大出力の許容範囲で欠落した候補自由制御を導入し、正しい候補数で階層化する。
AIME-2025とHMMT-2025をQwen3-4Bで比較すると、候補条件付けは複数の候補が正しい場合の精度を向上させる。
論文 参考訳（メタデータ） (2026-08-18T23:17:16Z) - Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳（メタデータ） (2026-08-06T19:49:48Z) - Learning Not to Optimize: Physics-Informed Action-Space Reshaping for Intent-Based Network Control [50.46501177871741]
LNOQRD は小物候補を75.9% で削減し、90.8% でニアオラクルのカバレッジを維持している。
実験の結果、LNOQRDは実用性と意図の満足度が最も高く、かつ、法律違反が最低で、世代後レイテンシが低いことがわかった。
論文 参考訳（メタデータ） (2026-08-02T00:27:01Z) - CASP: Learning-Augmented Offline Approximation with Verifiable Certificates and Bounded-Loss PAC Guarantees [1.7545090618311434]
マシンが学習した予測は、オフラインNPハード最適化を高速化するが、予測者にその問題を解決するために何をすべきかを尋ねる。
CASP (Certificate-Augmented Solution Pruning) は代わりに、どの部分の検索空間を無視するかを尋ね、サウンドタイム検証器がチェックした後のみ、各回答を受け入れる。
トレーニングされた予測器では、未検証プルーニングは配布シフト時の最適値の最大26%を失うが、検証された同じ予測のデプロイでは、何も失われることはない。
論文 参考訳（メタデータ） (2026-07-16T04:02:15Z) - Distributionally Robust Listwise Preference Optimization [47.053005334474896]
ランキングラベルの不確実性の下で、リストワイズ選好の最適化について検討する。
本稿では,候補リスト上のランキングラベル条件を直接的確に定式化する,ポイントワイド全変量ロバストなPackett--Luce目標を提案する。
実験により,提案したロバスト補正はクリーンラベル下での性能を保ち,ノイズ下でのロバスト性を向上させることが示された。
論文 参考訳（メタデータ） (2026-07-02T05:12:03Z) - Efficient Ensemble Selection from Binary and Pairwise Feedback [32.05855919168298]
マルチウィンナー投票の分布変種として選択問題を考察する。
我々は、正しい/間違った結果のタスクに対する二項フィードバックと、候補出力を優先的に比較したタスクに対するペアフィードバックの両方を解析する。
本稿では,全情報最適化はPTASを許容するが,Gap-ETHの下ではEPPTASを含まないことを示し,目的はモノトーンだが部分モジュラーではないことを示す。
論文 参考訳（メタデータ） (2026-05-10T15:01:34Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。
最適化に基づく最適化手法であるMERITを導入する。
MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
論文 参考訳（メタデータ） (2025-06-23T19:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。