論文の概要: Act or Escalate? Evaluating Escalation Behavior in Automation with Language Models

• arxiv url: http://arxiv.org/abs/2604.08588v1
• Date: Tue, 31 Mar 2026 19:29:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.467203
• Title: Act or Escalate? Evaluating Escalation Behavior in Automation with Language Models
• Title（参考訳）: アクトかエスカレーションか? : 言語モデルを用いた自動化におけるエスカレーション行動の評価
• Authors: Matthew DosSantos DiSorbo, Harang Ju,
• Abstract要約: 我々は不確実性の下での意思決定としてエスカレーションをモデル化する。 モデルがこれらのコストをトレードオフするために使用している暗黙のしきい値に、明らかな違いが見られます。 次に、この決定プロセスをターゲットにした介入を、さまざまなコスト比でテストします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective automation hinges on deciding when to act and when to escalate. We model this as a decision under uncertainty: an LLM forms a prediction, estimates its probability of being correct, and compares the expected costs of acting and escalating. Using this framework across five domains of recorded human decisions-demand forecasting, content recommendation, content moderation, loan approval, and autonomous driving-and across multiple model families, we find marked differences in the implicit thresholds models use to trade off these costs. These thresholds vary substantially and are not predicted by architecture or scale, while self-estimates are miscalibrated in model-specific ways. We then test interventions that target this decision process by varying cost ratios, providing accuracy signals, and training models to follow the desired escalation rule. Prompting helps mainly for reasoning models. SFT on chain-of-thought targets yields the most robust policies, which generalize across datasets, cost ratios, prompt framings, and held-out domains. These results suggest that escalation behavior is a model-specific property that should be characterized before deployment, and that robust alignment benefits from training models to reason explicitly about uncertainty and decision costs.
• Abstract（参考訳）: 効果的な自動化は、いつ行動するか、いつエスカレートするかを決めることに集中します。 我々はこれを不確実性のある決定としてモデル化する: LLMは予測を形成し、その正しさを推定し、期待される行動とエスカレーションのコストを比較する。 このフレームワークは、記録された人間の意思決定の予測、コンテンツレコメンデーション、コンテンツモデレーション、ローン承認、自律運転の5つの領域にまたがって使用されており、これらのコストをトレードオフするためにモデルが使用する暗黙のしきい値に顕著な違いがある。 これらのしきい値は大きく異なり、アーキテクチャやスケールでは予測されないが、自己見積はモデル固有の方法で誤解される。 次に、この決定プロセスをターゲットにした介入を、コスト比の変化、精度信号の提供、および所望のエスカレーションルールに従うためのトレーニングモデルによってテストする。 プロンプティングは、主に推論モデルに役立つ。 チェーンオブソートターゲット上のSFTは、データセット、コスト比、プロンプトフレーミング、ホールドアウトドメインにまたがる、最も堅牢なポリシーをもたらす。 これらの結果から,エスカレーション行動は,展開前に特徴付けるべきモデル固有の特性であり,不確実性や意思決定コストを明確に判断するために,トレーニングモデルによる堅牢なアライメントのメリットが示唆された。

関連論文リスト

• $V_0$: A Generalist Value Model for Any Policy at State Zero [80.7505802128501]
  ポリシーメソッドは、アクションの相対的な利点を測定するためにベースラインに依存します。 このベースラインは一般的に、政策モデルそのものと同じくらい大きな価値モデル(Critic)によって推定される。 未知のプロンプト上での任意のモデルの期待性能を推定できるジェネリスト値モデルを提案する。
  論文  参考訳（メタデータ） (2026-02-03T14:35:23Z)
• Are LLM Decisions Faithful to Verbal Confidence? [15.666596480779104]
  本稿では,モデルが種々のエラー罰に応答して,禁忌ポリシーを調整するかどうかを評価するためのフレームワークを提案する。 いくつかのフロンティアモデルに対する我々の評価は、モデルが言語的信頼を表現する際にはコストを意識せず、また、関与するかどうかを判断する際には戦略的に応答しない、という重大な解離を明らかにしている。 これは、格付けされた言語的信頼スコアが、信頼できる、解釈可能なAIシステムを作るのに十分でないことを示唆している。
  論文  参考訳（メタデータ） (2026-01-12T17:49:51Z)
• e1: Learning Adaptive Control of Reasoning Effort [88.51897900019485]
  AIモデルの思考予算の増大は、精度を大幅に向上させるが、すべての質問が同じ量の推論を保証しているわけではない。 ユーザは、アウトプットの品質を、レイテンシやコストに対してどのように評価するかによって、さまざまな理由付けの労力を割り当てる傾向があります。 本稿では,ユーザが指定したトークン数を用いてモデルを学習する自己適応型強化学習手法であるAdaptive Effort Controlを提案する。
  論文  参考訳（メタデータ） (2025-10-30T23:12:21Z)
• Conformal Arbitrage: Risk-Controlled Balancing of Competing Objectives in Language Models [5.294604210205507]
  Conformal Arbitrageは、データ駆動しきい値を学び、主目的のために最適化されたプライマリモデルとより保守的なGuardianの間を仲介するフレームワークです。 提案手法は,精度において,モデル間のランダムなルーティングに一致したコストで優れた性能を示す。
  論文  参考訳（メタデータ） (2025-06-01T08:55:10Z)
• Internal Causal Mechanisms Robustly Predict Language Model Out-of-Distribution Behaviors [61.92704516732144]
  正当性予測の最も堅牢な特徴は、モデルの振舞いに特徴的な因果的役割を果たすものであることを示す。 モデル出力の正しさを予測するために因果メカニズムを利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2025-05-17T00:31:39Z)
• Ranked from Within: Ranking Large Multimodal Models Without Labels [73.96543593298426]
  ソフトマックス分布から導かれる不確実性スコアは,様々なタスクにまたがるランキングモデルに対して,ロバストな基礎となることを示す。 これにより、ラベルのないデータに対するLMMのランク付けが容易になり、手動のアノテーションを必要とせずに、多様なターゲットドメインのモデルを選択するための実践的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-12-09T13:05:43Z)
• Evaluating and Correcting Performative Effects of Decision Support Systems via Causal Domain Shift [1.6574413179773764]
  決定支援システムは、ターゲット変数の値に影響を与えるエージェントの予測を提供する。 高スループット環境でDSSをデプロイする場合、DSSのパフォーマンス効果を慎重に評価することが不可欠である。 本稿では,DSSの展開を因果領域シフトとしてモデル化し,新たなクロスドメイン識別結果を提案する。
  論文  参考訳（メタデータ） (2024-03-01T10:19:17Z)
• Choice Models and Permutation Invariance: Demand Estimation in Differentiated Products Markets [5.8429701619765755]
  ニューラルネットのような非パラメトリック推定器は、選択関数を簡単に近似できることを示す。 提案する関数は、完全にデータ駆動方式で、消費者の振る舞いを柔軟に捉えることができる。 我々の経験的分析により、推定器は現実的かつ同等の自己およびクロスプライス弾性を生成することが確認された。
  論文  参考訳（メタデータ） (2023-07-13T23:24:05Z)
• Structured Dynamic Pricing: Optimal Regret in a Global Shrinkage Model [50.06663781566795]
  消費者の嗜好と価格感が時間とともに変化する動的モデルを考える。 我々は,モデルパラメータの順序を事前に把握している透視者と比較して,収益損失が予想される,後悔による動的価格政策の性能を計測する。 提案した政策の最適性を示すだけでなく,政策立案のためには,利用可能な構造情報を組み込むことが不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-03-28T00:23:23Z)
• Self-adapting Robustness in Demand Learning [1.949912057689623]
  本研究では,需要モデルあいまいさの存在下で,有限期間にわたる動的価格付けについて検討する。 データから真のモデルパラメータを学習するARL(Adaptively-robust-learning)価格ポリシを開発する。 我々は,ARLの自己適応的あいまいさセットの挙動を特徴付け,収益損失の規模と顧客到着パターンとの関係を強調する後悔の限界を導出する。
  論文  参考訳（メタデータ） (2020-11-21T01:15:54Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。