論文の概要: A Calibrated Instrument for Detecting Disposition Drift in Language Models

• arxiv url: http://arxiv.org/abs/2610.25735v1
• Date: Mon, 19 Oct 2026 03:41:20 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:00:33.3016
• Title: A Calibrated Instrument for Detecting Disposition Drift in Language Models
• Title（参考訳）: 言語モデルにおける分散ドリフト検出のための校正装置
• Abstract要約: 推定最適化がモデル出力の品質にどのように影響するかを評価するために開発された測定手法を適用した。 数パーセントのシフトを確実に検出できることを示す。 その上で, 医療・財政的アドバイスを的確に調整し, 意識的にドリフトを誘導する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Before language models are released, they are tested for harmful traits such as willingness to carry out dangerous requests, deception, power seeking, and sycophancy. The safe behavior these tests certify may degrade as models are modified, by topical fine-tuning, new training data, or changes to settings such as the depth of their reasoning. Most work reports such drift as single summary rates scored by another AI model, without the error analysis needed to interpret them. We adapt a calibrated measurement methodology recently developed for assessing how inference optimizations affect the quality of model outputs. Applying it to several misalignment dimensions in two open-weight models, we first establish the instrument's precision, showing that shifts of a few percentage points can be reliably detected. We then induce drift deliberately by fine-tuning on correct and on subtly harmful medical and financial advice; harmful advice induces a far greater shift than correct advice. Most strikingly, a model that reasons before answering can conceal the shift almost entirely in its answers, even though a direct reading of its internal state shows that its disposition has moved. With reasoning switched off, the same model shifts steadily as the share of harmful advice in its training grows. These results demonstrate the importance of testing safety with reasoning turned both on and off.
• Abstract（参考訳）: 言語モデルのリリース前には、危険な要求、騙し、電力探索、梅毒といった有害な特性をテストされている。 これらのテストが認定する安全な振る舞いは、モデルの変更、トピックの微調整、新しいトレーニングデータ、あるいは推論の深さなどの設定の変更によって劣化する可能性がある。 たいていの作業報告では、別のAIモデルによってスコアされた単一のサマリーレートのようなドリフトを、それらを解釈するために必要なエラー解析なしで報告している。 モデル出力の品質に対する推論最適化の効果を評価するために,最近開発されたキャリブレーション測定手法を適用した。 これを2つのオープンウェイトモデルにおけるいくつかの不整合次元に適用することにより、まず楽器の精度を確立し、少数のポイントのシフトを確実に検出できることを示す。 そして,適切な医療・財政アドバイスを微調整し,意識的にドリフトを誘導し,有害なアドバイスは正しいアドバイスよりもはるかに大きな変化をもたらす。 もっとも印象的なのは、答えの前に原因となるモデルが、内部状態が直接読み取られても、その変化がほとんど完全にその答えに隠されていることだ。 推論をオフにすると、トレーニングにおける有害なアドバイスのシェアが増加するにつれて、同じモデルが着実に変化します。 これらの結果は、推論をオン/オフにすることで安全性をテストすることの重要性を示している。

関連論文リスト

• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• When to Answer and When to Defer: A Decision Framework for Reliable Code Predictions [11.136449698197174]
  この作業では、不確実性推定、モデルのキャリブレーション、およびコードモデルに対するツールベースの禁忌処理を統合する統一的なフレームワークを導入している。 提案設計では,信頼性の高い正当性確率を割り当てたり,不確実性の下で不確実性を排除したり,不確実性のあるケースを処理するための軽量なプログラム解析手順を実行することができる。
  論文  参考訳（メタデータ） (2026-05-19T05:04:42Z)
• Emulated Disalignment: Safety Alignment for Large Language Models May Backfire! [65.06450319194454]
  大きな言語モデル(LLM)は、人間との安全な会話を確保するために安全アライメントを行う。 本稿では,安全アライメントの反転が可能なトレーニングフリーアタック手法を提案する。 本手法をエミュレートした脱アライメント (ED) と呼ぶのは, このコントラスト分布からのサンプリングは, 安全報酬を最小限に抑えるため, 微調整の結果を確実にエミュレートするからである。
  論文  参考訳（メタデータ） (2024-02-19T18:16:51Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Test-time Augmentation for Factual Probing [33.12189913850943]
  事実探索の問題は、プロンプトの小さな変更がモデル出力に大きな変化をもたらす可能性があることである。 そこで本研究では,TTA(Test-time augmentation)を関係性に依存しない手法として用いて,感度を低減し,変動を誘発する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-26T03:41:32Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Calibration Meets Explanation: A Simple and Effective Approach for Model Confidence Estimates [21.017890579840145]
  本稿では,モデル説明を活用するCMEという手法を提案し,非帰納的属性に対するモデルの信頼性を低下させる。 我々は,2つの人気のある事前学習言語モデルを用いて,6つのデータセットに関する広範な実験を行った。 以上の結果から,モデル説明が後部推定の校正に有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-06T06:17:21Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Better sampling in explanation methods can prevent dieselgate-like deception [0.0]
  予測モデルの解釈性は、それらのバイアスとエラーの原因を決定するために必要である。 IME、LIME、SHAPなどの一般的なテクニックでは、インスタンス機能の摂動を使用して個々の予測を説明します。 改良されたサンプリングによりLIMEとSHAPのロバスト性が向上し,以前に未試験のメソッドIMEがすでに最もロバストであることが示されている。
  論文  参考訳（メタデータ） (2021-01-26T13:41:37Z)
• On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers [24.858283637038422]
  本稿では,BERT,RoBERTa,ALBERTの3種類の事前学習モデルについて検討する。 探究タスクの微調整によって精度が大幅に変化することを発見した。 ファインチューニングは、実際に事前訓練されたモデルの表現を変えるが、ごく少数のケースでのみ、ファインチューニングは探索精度に肯定的な影響を及ぼす。
  論文  参考訳（メタデータ） (2020-10-06T10:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。