論文の概要: Quantifying Behavioral Tails in Black-Box Language Models

• arxiv url: http://arxiv.org/abs/2609.33638v2
• Date: Tue, 29 Sep 2026 13:41:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.682919
• Title: Quantifying Behavioral Tails in Black-Box Language Models
• Title（参考訳）: ブラックボックス言語モデルにおける行動タオルの定量化
• Abstract要約: ブラックボックス大言語モデルにおける厳しい振る舞いの確率を推定するフレームワークであるRareTrapを紹介した。 我々は,RareTrapが資源消費の厳しい振る舞いを誘発し,その確率を最大200評価で計算することを発見した。
• 参考スコア（独自算出の注目度）: 27.148629622245412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce RareTrap, a framework for estimating the probability of severe behaviors in black box large language models (LLMs). A key challenge for probability estimation is defining a tractable distribution over the input space. To accomplish that, RareTrap uses a surrogate LLM and constructs a geometry-aware mapping from a lower-dimensional latent reference space into its token-embedding space to induce an explicit and reproducible distribution over input prompts. A response-level performance function is utilized on the response to quantify behavior severity. This enables sequential rare event simulation that concentrates evaluations on progressively more severe behaviors while preserving probability under the induced prompt distribution, which would otherwise be prohibitive to measure. Across 10 open-weight and two frontier models (GPT-5.4 and Claude Sonnet 4.6), we find that RareTrap successfully induces severe resource consumption behaviors and computes their probability with as few as 200 evaluations. RareTrap provides model developers a principled approach for evaluating language models under a common distribution, and prioritizing alignment effort to improve safety and mitigate risks.
• Abstract（参考訳）: 我々は,ブラックボックス大言語モデル(LLM)における厳しい振る舞いの確率を推定するフレームワークであるRareTrapを紹介した。 確率推定の鍵となる課題は、入力空間上のトラクタブル分布を定義することである。 これを実現するため、RareTrapは代用LDMを使用し、低次元の潜在参照空間からトークン埋め込み空間への幾何対応マッピングを構築し、入力プロンプト上の明示的で再現可能な分布を誘導する。 応答レベル性能関数は、応答に基づいて振る舞いの重大度を定量化する。 これにより、逐次的なレアイベントシミュレーションが可能となり、より厳密な行動の評価に集中すると同時に、誘導的プロンプト分布の下で確率を保ち、それ以外は測ることが禁じられる。 10個のオープンウェイトモデルと2つのフロンティアモデル(GPT-5.4とClaude Sonnet 4.6)で、RareTrapは厳しい資源消費の振る舞いを誘発し、その確率を最大200評価で計算した。 RareTrapは、共通のディストリビューション下で言語モデルを評価するための原則的なアプローチをモデル開発者に提供し、安全性とリスク軽減のためにアライメント作業の優先順位付けを行う。

関連論文リスト

• Estimating Rare Events in Language Models with Proper Evaluation [16.1901795614153]
  GA-AMLS(Gradient Activation Adaptive Multi-Level Splitting)を導入する。 GA-AMLSは、言語モデルの連続活性化空間に希少なモンテカルロ法を適用する。 また、ゼロ推定に対して有限な適切なスコアリング規則であるシフトパワー・ブレグマン(SPB)ロス(英語版)を提案する。
  論文  参考訳（メタデータ） (2026-07-20T19:07:43Z)
• Estimating Tail Risks in Language Model Output Distributions [44.05461209870279]
  言語モデルはますます能力が高くなり、人口レベルの規模で急速に展開されている。 モデルが1日に何十億回もクエリされる場合、稀な最悪の行動さえ発生します。 入力クエリに対して有害な出力の確率を効率的に推定する手法を提案する。
  論文  参考訳（メタデータ） (2026-04-24T02:30:46Z)
• Fundamental Limits of Black-Box Safety Evaluation: Information-Theoretic and Computational Barriers from Latent Context Conditioning [1.9290392443571385]
  AIシステムのブラックボックス安全性評価では、テストディストリビューションのモデル動作がデプロイメントのパフォーマンスを確実に予測していると仮定する。 我々は、この仮定を、潜伏した文脈条件のポリシーによって定式化し、挑戦する。 ブラックボックス評価者が配置リスクを確実に見積もることができないという基本的な制限を確立します。
  論文  参考訳（メタデータ） (2026-02-19T01:03:11Z)
• Language Models Can Predict Their Own Behavior [29.566208688211876]
  言語モデル(LM)は、アライメントトレーニングに従わないなど、特定の振る舞いを示すことができます。 入力トークンの内部表現だけで訓練されたプローブは、出力シーケンス全体にわたって幅広い結果の挙動を予測することができることを示す。 プローブ上に構築された早期警報システムは、脱獄を91%削減する。
  論文  参考訳（メタデータ） (2025-02-18T23:13:16Z)
• Estimating the Probabilities of Rare Outputs in Language Models [8.585890569162267]
  小型変圧器言語モデルからのargmaxサンプリングの文脈における低確率推定について検討した。 その結果、重要サンプリングはアクティベーション外挿より優れるが、どちらもナイーブサンプリングより優れていることがわかった。 低確率推定のための新しい手法は、最悪の場合の性能についてより強力な保証を提供するために必要である、と我々は主張する。
  論文  参考訳（メタデータ） (2024-10-17T04:31:18Z)
• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Model Predictive Control with Gaussian-Process-Supported Dynamical Constraints for Autonomous Vehicles [82.65261980827594]
  本研究では、学習したガウス過程を利用して人間の運転行動を予測する自動運転車のモデル予測制御手法を提案する。 マルチモード予測制御アプローチは、人間のドライバーの意図を考察する。
  論文  参考訳（メタデータ） (2023-03-08T17:14:57Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。