論文の概要: BLOOM-WILT: Logit Tilting for Behaviour Elicitation in Automated LLM Auditing

• arxiv url: http://arxiv.org/abs/2608.31105v1
• Date: Mon, 31 Aug 2026 17:10:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.534444
• Title: BLOOM-WILT: Logit Tilting for Behaviour Elicitation in Automated LLM Auditing
• Title（参考訳）: BLOOM-WILT:自動LLM監査における行動緩和のためのロジットティルティング
• Abstract要約: BLOOM-WILTは、トレーニングコストやターゲットの次のトーケン分布を越えてアクセスすることなく、レアな振る舞いの自然なマルチターンインスタンスを提供する。 WILTを4つのターゲットモデルと8つの動作で評価し、32設定のうち30設定でベースライン監査を破る。
• 参考スコア（独自算出の注目度）: 0.898478290216692
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Users of a deployed language model routinely encounter behaviours that testing almost never surfaces, since deployment puts the model through orders of magnitude more interactions than any evaluation can simulate. Automated auditors make testing cheap to scale and flexible enough to cover almost any specified behaviour, yet their lack of optimisation pressure makes them sample-inefficient. To address this shortcoming, we introduce BLOOM-WILT, a full auditing pipeline that elicits natural multi-turn instances of rare behaviours, without training cost or access beyond the target's next-token distribution. On the input side, WILT's auditor model revises its conversational strategy across rounds, learning from previous scored interactions. On the output side, WILT adaptively reweights the target's decoding using the model's own distribution conditioned on an elicitation prompt, so that behaviour-relevant generations are sampled ahead of others it finds equally probable when unprompted. We evaluate WILT across 4 target models and 8 behaviours, where it beats the baseline auditor in 30 of the 32 settings and overturns the previous model safety rankings. WILT raises average behaviour presence from 51% to 100% when eliciting self-harm encouragement from Qwen3.5-4B, beating every elicitation method we port into the same pipeline at matched compute, without pushing output probability below the baseline's.
• Abstract（参考訳）: デプロイされた言語モデルのユーザは、テストがほとんど表面化しない動作に定期的に遭遇する。 自動監査は、テストのスケールを安くし、ほとんどの特定の振る舞いをカバーするのに十分な柔軟性を提供するが、最適化プレッシャーの欠如によりサンプル非効率になる。 BLOOM-WILTは,レアな動作の自然なマルチターンインスタンスを,トレーニングコストやターゲットの次点分布を越えたアクセスを伴わない,完全な監査パイプラインである。 入力側では、WILTの監査モデルはラウンド間での会話戦略を改訂し、以前のスコアリングされたインタラクションから学習する。 出力側では、WILTはユークリエーションプロンプトに条件付されたモデル自身の分布を用いてターゲットの復号を適応的に重み付けする。 4つの目標モデルと8つの行動でWILTを評価し、32設定のうち30のベースラインオーディタを上回り、以前のモデルの安全性ランキングを上回ります。 WILTはQwen3.5-4Bから自己ハーム励振を誘発する際の平均行動存在感を51%から100%に引き上げる。

関連論文リスト

• How to Speculate about Uncertainty in Agentic Coding? A Draft-Model Gate Method [4.37919186746582]
  ブラックボックスエージェントの予測故障信号を復元する手法である投機的不確実性(SU)を提案する。 我々は、推論とアクションスパンを分離して位相認識の特徴を抽出し、検証対象に対して校正する。 SUは、ルーティング、人間の介入、テストタイムの余分な計算など、ダウンストリームポリシーが直接的に消費できる、障害に似たスコアを生成する。
  論文  参考訳（メタデータ） (2026-09-04T15:30:22Z)
• Prediction of Prediction (PoP): Inter-Layer Activation Fusion for Single-Pass Hallucination Detection in Large Language Models [0.0]
  この研究は、生成中の内部の隠れ状態遷移ダイナミクスが、補助的な復号呼び出しを伴わずに事実エラーを信号化できるかどうかを評価する。 本稿では,層間遷移の不確実性を捉えるメカニズムである予測予測(PoP)を導入する。 PoPは受信機動作特性曲線(AUROC)の領域を75.5%の精度で達成している。
  論文  参考訳（メタデータ） (2026-08-27T14:17:14Z)
• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• Speculative Refinement: A Hybrid Autoregressive Diffusion Decoding Strategy and Its Behavior Across Benchmarks [1.9800951131982487]
  我々はSpecRef(Speculative Refinement)を用いて、ARドラフトからマスク付き拡散言語モデルをウォームスタートする。 We evaluate SpecRef across six benchmarks (HumanEval, MBPP, GSM8K, BBH, ARC-Challenge, HellaSwag) with three distinct evaluation protocol。 これらの観察は、多段階または非自己回帰生成パイプラインに適用され、より診断評価の実践に向けて向けられる。
  論文  参考訳（メタデータ） (2026-06-25T18:52:24Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• An Embarrassingly Simple Detector for Model Extraction Attacks in Large Language Model API Traffic [16.151531550259993]
  大規模言語モデル(LLM)はホストAPIを通じてますますデプロイされ、モデルの抽出がモデルのオーナシップとサービスのセキュリティに対する現実的な脅威となる。 我々は、良性キャリブレーションされた交通窓分布試験としてモデル抽出監視を定式化する。 入力クエリをセマンティック空間に埋め込み、それらの集合分布が過去の良性トラフィックから逸脱するかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-04T05:33:49Z)
• When Individually Calibrated Models Become Collectively Miscalibrated [3.556355987197792]
  本研究では,個別に調整した予測器が戦略的に相互作用した場合に集団的に誤判定されることを示す。 正の相関関係を持つブライアスコアに基づくアグリゲーションでは、各エージェントの個別に最適なレポートは、正のクラス確率を体系的に過小評価する。 対照的に、VCGベースのアグリゲーションは、限界貢献に報いることでインセンティブを調整し、支配的な戦略的なインセンティブ互換性とほぼ最適のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T05:25:16Z)
• MANTA: Multi-turn Assessment for Nonhuman Thinking & Alignment [0.1452394725421793]
  MANTAは、Inspect AIプラットフォーム上に構築された動的マルチターン評価フレームワークである。 Clude-sonnet-4-20250514およびopenai/gpt-4oの評価を行った。 また, LLM-as-judge 評価において, 体系的フォーマットバイアスを示す制御された4要素法であるSTYLEJUDGEを提案する。
  論文  参考訳（メタデータ） (2026-04-18T19:51:32Z)
• Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
  大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。 バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。 現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2026-01-08T22:33:12Z)
• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。