論文の概要: Resist, Update, Reject: Preference Optimization Installs a Prior-Dependent Reliability Switch
- arxiv url: http://arxiv.org/abs/2609.22359v1
- Date: Sun, 26 Jul 2026 19:39:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.814262
- Title: Resist, Update, Reject: Preference Optimization Installs a Prior-Dependent Reliability Switch
- Title（参考訳）: Resist, Update, Reject: 優先度最適化は、事前依存の信頼性スイッチをインストールする
- Abstract要約: 整列モデルは依然として信頼性の高いモデルに更新され、信頼できないモデルが拒否されなければならない。
選好ラベルは、ソースが実際に信頼できるかどうかに依存しない。
この固定$leftarrow$gullibilityフロンティアは目的のプロパティであり、どのモデルにも当てはまらない。
- 参考スコア（独自算出の注目度）: 4.721990925113432
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An aligned model asked to hold its answer against a manipulative source must still update on a reliable one and reject an unreliable one: resistance, reliable-update, and unreliable-source rejection are one three-way contract, not three independent behaviors. We show the objective most anti-sycophancy work optimizes is non-identifying with respect to source reliability: because no preference label depends on whether a source is actually reliable, any scalar mixture of the arms traces a single deference dial, and no point separates two same-template testimonies differing only in stated reliability. This fixation$\leftrightarrow$gullibility frontier is a property of the objective, not any model. We make reliability identifiable through data: a threshold benchmark where a source asserts the opposite answer while stating its reliability $r$, and the correct action is to flip iff $r$ exceeds the model's prior strength $p$. Preference optimization over balanced coverage installs a prior-dependent reliability switch: across three seeds on Qwen2.5-7B-Instruct the threshold $r^\star$ rises monotonically with the prior, decision accuracy reaches $0.84$ with a monotone flip curve (Spearman $0.56$), and the policy generalizes to unseen reliability values and a held-out notation, following stated reliability over role prestige. Three controls localize the cause: an unmatched variant installs the switch equally ($0.80$), a second preference optimizer (IPO) installs it just as well ($0.86$), whereas supervised imitation does not ($0.50$), so the cause is preference optimization over reliability-labeled coverage, not pairing, loss, or imitation. A confirmatory battery replicates the switch on a fresh test draw, bounds it honestly (it keys on reliability stated in the testimony, not a separately audited record), and transfers it to Llama-3.1-8B. The frontier is empirical, not a theorem.
- Abstract（参考訳）: マニピュティブソースに対する回答を要求されたアライメントモデルは、信頼できるソースを更新し、信頼できないソースを拒否しなければならない。
ソースが実際に信頼できるかどうかに優先ラベルが依存しないため、アームのスカラー混合は単一の参照ダイアルを辿り、同じタイミングで2つの証言を区別するポイントは存在しない。
この固定$\leftrightarrow$gullibility Frontier は対象の性質であり、どのモデルにも当てはまらない。
しきい値ベンチマークでは、ソースがその信頼性を$r$と言いながら反対の答えを主張し、正しいアクションは、モデルの以前の強度を超えるiff$r$をひっくり返すことである。
Qwen2.5-7B 上の3つのシードに対してしきい値 $r^\star$ を単調に上昇させ、決定精度はモノトーンフリップ曲線で0.84ドルに達する(Spearman $0.56$)。
3つのコントロールが原因をローカライズする: 整合していない変種がスイッチを均等にインストールする(0.80$)、第2の優先オプティマイザ(IPO)が同様にスイッチをインストールする(0.86$)、一方、監督された模倣は0.50$ではない。
確認バッテリーは、新しいテストドローのスイッチをリプリケートし、正直にバウンドする(これは証明書に記載された信頼性の鍵であり、別々に監査された記録ではない)。
フロンティアは経験的であり、定理ではない。
関連論文リスト
- Predictive Likelihood Ratios for Language Model Watermark Detection [3.8200540264474907]
キー付き透かし検出テストは、秘密鍵から再構成された観測トークンと擬似ランダム変数間の依存度である。
我々は、不確実な確率欠陥と残尾分布よりも平均となる予測可能性比を構築した。
論文 参考訳（メタデータ） (2026-09-14T14:39:29Z) - Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation [2.1734195143282693]
我々は,n = 独立ロールアウトとc = 完全パスロールアウト(タスク,エージェント)ペアで適用したのと同じ推定器であるReliability@kを提案する。
機能的正当性がセキュリティの安全性を示唆しないという証拠によって、セキュリティ調整された信頼性も提案する。
論文 参考訳（メタデータ） (2026-08-11T16:01:15Z) - When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation [3.657882835504143]
本研究では、自然言語からコード生成への変換のために開発された不確実性推定手法と、選択的な自己補正によるコード生成を改善できるかどうかを検討する。
我々は,平均トークンエントロピー,言語的信頼度,$P(textTrue)$,エントロピーアンサンブル,意味エントロピープローブの5つの不確実性を評価した。
マルチサンプル$P(textTrue)$は正しさと最も強い相関を達成でき、セマンティックエントロピープローブを含む他のすべての手法は弱い相関しか得られない。
論文 参考訳（メタデータ） (2026-07-31T21:13:02Z) - Target-confidence Recourse Using tSeTlin machines: TRUST [0.5599792629509229]
ターゲット信頼の反事実は、従来の境界に基づくアプローチよりも堅牢な会話を生み出す。
本稿ではtSeTlinマシン(tSeTlinマシン)を用いたTarget-confidence Recourseを提案する。
信頼を明示的に制御し、規則レベルの安定性を露呈することで、TRUSTは高い意思決定支援のための実行可能なレコースを提供する。
論文 参考訳（メタデータ） (2026-06-17T09:07:53Z) - Multiagent Protocols with Aggregated Confidence Signals [7.128020779227392]
信頼は、自然言語処理(NLP)における信頼性、監視、および下流決定タスクに使用される。
以前の作業では、メッセージの重み付け、議論のトリガー、個々のエージェントの校正に、マルチエージェント討論(MAD)内での信頼性を使用していた。
まず、まず、生の信頼信号を変換してモデル間で比較し、ソフト投票や確率融合によって組み合わせることで、最終的な回答を生成する3つのプロトコルを紹介します。
論文 参考訳（メタデータ） (2026-06-11T17:12:11Z) - Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。
推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。
10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
論文 参考訳（メタデータ） (2026-05-08T07:08:25Z) - FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。
我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。
FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
論文 参考訳（メタデータ） (2026-04-12T15:35:08Z) - Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。
モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。
我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
論文 参考訳（メタデータ） (2026-03-06T04:03:13Z) - Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。
異なるデータ条件に合わせた2つの学習方法を提案する。
この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
論文 参考訳（メタデータ） (2025-09-30T20:36:41Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。