論文の概要: Benchmarking AI risk behaviors
- arxiv url: http://arxiv.org/abs/2611.16318v2
- Date: Fri, 13 Nov 2026 17:23:23 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:22:37.077734
- Title: Benchmarking AI risk behaviors
- Title(参考訳): AIリスク行動のベンチマーク
- Abstract要約: 各種条件下でのリスク回避やリスク耐性のモデルを評価する。
本稿では,モデル行動予測に使用できるモデルリスクプロファイルを開発するためのツールキットを提案する。
2026の最先端モデルは、古いモデルよりも安定的で、一貫性があり、リスク中立である傾向にある。
- 参考スコア(独自算出の注目度): 0.1749935196721634
- License:
- Abstract: We evaluate LLM risk propensities across a range of contexts and task demands. We evaluate models for how risk averse or risk tolerant they are in various conditions, as well as how stable and consistent their behavior is across conditions. We present a toolkit for developing model risk profiles that can be used to predict model behavior and which can be adapted to include new evaluations of risk propensities. We also examine how these properties have changed across model generations and families. We observe that 2026 state-of-the-art models tend to be more stable, more consistent, and more risk neutral than older models. These trends appear to be related; newer models are more stable and consistent because they are more likely to use expected value maximization as a decision procedure.
- Abstract(参考訳): 我々は, LLMのリスク適合性を, 状況や課題要求に応じて評価する。
リスク・アバースやリスク・トレラントが様々な条件でどのように耐えられるか、そしてそれらの行動がどのような状況で安定かつ一貫性があるかをモデルとして評価する。
本稿では,モデル行動予測に使用可能なモデルリスクプロファイルを開発するためのツールキットを提案する。
また、これらの特性がモデル世代や家族間でどのように変化したかについても検討する。
2026の最先端モデルは、古いモデルよりも安定的で、一貫性があり、リスク中立である傾向にある。
これらの傾向は関連しているようで、新しいモデルは、決定手順として期待値の最大化を使用する可能性が高いため、より安定で一貫性がある。
関連論文リスト
- Behavioural Signatures of Risk-Sensitive Decision-Making in Large Language Models [121.70781851874035]
大規模言語モデル(LLM)は、意思決定支援にますます使われている。
不確実性の下での選択が安定かつ解釈可能な行動規則性を示すかどうかを理解することが重要である。
本稿では,無制限テキサスホールドエムに基づく制御型マルチモデルフレームワークを用いて,この問題について検討する。
論文 参考訳(メタデータ) (2026-07-11T10:33:39Z) - Enhancing a Risk Model by Adding Transient Statistical Factors [90.40844650665713]
資産収益の推定は、金融ポートフォリオの構築と評価の鍵となる要素である。
既存の因子モデルを強化するために,最大推定値に基づく体系的手法を提案する。
提案した拡張は,元のモデルに欠落したリターンの構造をキャプチャすることを示す。
論文 参考訳(メタデータ) (2026-05-13T04:15:24Z) - PropensityBench: Evaluating Latent Safety Risks in Large Language Models via an Agentic Approach [49.14349403242654]
我々は、リスクを伴う行動に関わるモデルの確率を評価する新しいベンチマークフレームワークであるtextbfPropensityBench$を提示する。
私たちのフレームワークには,サイバーセキュリティ,自己増殖,バイオセキュリティ,化学セキュリティという,リスクの高い4つのドメインにまたがる6,648のツールを備えた,5,874のシナリオが含まれています。
オープンソースとプロプライエタリなフロンティアモデル全体で、私たちは9つの不確実性の兆候を発見しました。
論文 参考訳(メタデータ) (2025-11-24T18:46:44Z) - Uncertainty-Aware Decoding with Minimum Bayes Risk [70.6645260214115]
予測されたリスクに応じてモデル生成を選択する最小ベイズリスク復号法を,原理化された不確実性認識復号法に一般化する方法を示す。
この修正された予測リスクは、出力の選択と生成をいつ中止するかの判断の両方に有用であり、オーバーヘッドを発生させることなく改善を提供できることを示す。
論文 参考訳(メタデータ) (2025-03-07T10:55:12Z) - On (assessing) the fairness of risk score models [2.0646127669654826]
リスクモデルは、ユーザに対して潜在的な結果について不確実性を伝えるという事実など、さまざまな理由から関心を集めている。
リスクスコアフェアネスの鍵となるデシダータムとして,異なるグループに類似した価値を提供する。
本稿では,従来提案されていた基準値よりも試料径バイアスが少ない新しい校正誤差指標を提案する。
論文 参考訳(メタデータ) (2023-02-17T12:45:51Z) - Stability of clinical prediction models developed using statistical or
machine learning methods [0.5482532589225552]
臨床予測モデルは、複数の予測器の値に基づいて、個人の特定の健康結果のリスクを推定する。
多くのモデルは、モデルとその予測(推定リスク)の不安定性につながる小さなデータセットを使用して開発されている。
モデルの推定リスクの不安定性は、しばしばかなりのものであり、新しいデータにおける予測の誤校正として現れます。
論文 参考訳(メタデータ) (2022-11-02T11:55:28Z) - Factor-Augmented Regularized Model for Hazard Regression [1.8021287677546953]
本研究では,ハザード回帰のための因子拡張正規化モデル(FarmHazard)を提案する。
モデル選択の整合性と推定の整合性を軽度条件下で証明する。
また,超高次元問題における強い相関に対処する因子拡張可変スクリーニング手法を開発した。
論文 参考訳(メタデータ) (2022-10-03T16:35:33Z) - Two steps to risk sensitivity [4.974890682815778]
条件付きバリュー・アット・リスク(CVaR)は、人間と動物の計画のモデル化のためのリスク尺度である。
CVaRに対する従来の分布的アプローチを逐次的に導入し、人間の意思決定者の選択を再分析する。
次に,リスク感度,すなわち時間的整合性,さらに重要な特性について考察し,CVaRの代替案を示す。
論文 参考訳(メタデータ) (2021-11-12T16:27:47Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z) - A General Framework for Survival Analysis and Multi-State Modelling [70.31153478610229]
ニューラル常微分方程式を多状態生存モデル推定のためのフレキシブルで一般的な方法として用いる。
また,本モデルでは,サバイバルデータセット上での最先端性能を示すとともに,マルチステート環境での有効性を示す。
論文 参考訳(メタデータ) (2020-06-08T19:24:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。