論文の概要: Lost in the Fallback: How Reliably Do Typed Decision Models Use Fallback Options?
- arxiv url: http://arxiv.org/abs/2610.19856v1
- Date: Wed, 14 Oct 2026 09:21:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 12:10:45.454538
- Title: Lost in the Fallback: How Reliably Do Typed Decision Models Use Fallback Options?
- Title(参考訳): Lost in the Fallback: タイプ決定モデルはフォールバックオプションをいかに活用するか?
- Abstract要約: 我々はPaired Fallback Robustness (PFR)テストを導入し、フォールバック信頼性の2つの側面を評価する。
正しい認識が正しいフォールバックオプションに確実に転送されないことが分かりました。
同じフォールバックルールの論理的に等価な定式化は、モデル決定にかなりの不一致をもたらす可能性がある。
- 参考スコア(独自算出の注目度): 20.437265416013986
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Typed decision models (TDMs) are increasingly used in applications such as request routing and model selection, making reliable decisions critical to system performance. Fallback options accommodate categories outside regular choices, enabling deferral to human experts or more capable models. While recent works have examined adversarial vulnerabilities in TDMs, their ability to follow fallback rules in non-adversarial settings remains underexplored. We introduce the Paired Fallback Robustness (PFR) Test to evaluate two aspects of fallback reliability: whether models correctly switch between regular and fallback options, and whether they make consistent decisions under logically equivalent definitions of the same rule. We evaluate open-source decision models on three benchmarks, with controlled comparisons across architectures and parameter counts. We find that correct recognition does not reliably transfer to correct fallback options, and errors persist even when the correct category is explicitly supplied.Moreover, logically equivalent formulations of the same fallback rule can also produce substantial disagreement in model decisions. These findings reveal a crucial reliability gap in current TDMs: fallback mechanisms designed to improve reliability can instead introduce errors. It highlights faithful execution of fallback rules and consistency under equivalent definitions as essential requirements for reliable typed decision-making.
- Abstract(参考訳): タイプ決定モデル(TDM)は、要求ルーティングやモデル選択といったアプリケーションでますます使われており、システム性能に重要な信頼性の高い決定を下している。
フォールバックオプションは、通常の選択以外のカテゴリに対応しており、人間の専門家やより有能なモデルに延期することができる。
最近の研究では、TDMの敵対的脆弱性について検討されているが、非敵的設定でフォールバックルールに従う能力はいまだ検討されていない。
我々はPaired Fallback Robustness(PFR)テストを導入し、モデルが正規オプションとフォールバックオプションを正しく切り替えるかどうか、同じルールの論理的に等価な定義の下で一貫した決定を行うかどうかという、フォールバック信頼性の2つの側面を評価する。
我々は3つのベンチマークでオープンソースの意思決定モデルを評価し、アーキテクチャとパラメータ数間の比較を制御した。
また,正しいカテゴリが明示的に供給された場合でも誤りが持続し,同じフォールバック規則の論理的に等価な定式化がモデル決定にかなりの不一致をもたらすことが判明した。
信頼性を向上させるために設計されたフォールバック機構は、代わりにエラーを発生させることができる。
これは、信頼できる型付き意思決定に必要な要件として、等価定義の下でのフォールバックルールと一貫性の忠実な実行を強調します。
関連論文リスト
- Large Decision Models: Repurposing Large Language Models as Single-Pass Decision Makers [11.47184779374245]
本研究では,実行時に指定されたラベルよりも明確な確率を返すために,言語モデルを再購入する大規模決定モデルを提案する。
まず、DDS(Diverse Decision Supervision)を通じて、さまざまなドメイン、ルール、ラベルをカバーし、このインターフェースにモデルを適用する。
推論モデルに対するパフォーマンスギャップをさらに狭めるため、SPRD(Self-Posed Reasoning Distillation)では、凍結教師が生成したタスクを追加し、回答整合性をフィルタし、繰り返し教師の推論から得られたラベル分布をトレーニングする。
論文 参考訳(メタデータ) (2026-10-11T10:04:59Z) - Dual-Frontier: When Can an Agent Trust Its World Model? [27.999328033210492]
本研究は,世界モデル誘導型意思決定が失敗した場合,エージェントの意思決定ルールと世界モデルが損失を引き起こしたかどうかを,軌跡だけでは明らかにできないことを示す。
我々は、この障害帰属問題を、リターン損失の非実効分解として定式化する。
提案するDual-Frontierは,予測される優位性が決定関連世界モデルエラーの認定境界を超える場合にのみ,世界モデル誘導決定を認める学習原理である。
論文 参考訳(メタデータ) (2026-09-22T12:05:43Z) - Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。
推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。
これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
論文 参考訳(メタデータ) (2026-06-09T16:14:27Z) - Auditable Decision Models with Learned Abstention and Real-Time Steering [6.287457666346811]
生産AIシステムは、不完全、矛盾、あるいは不十分な証拠で運用されることが多い。
我々は,不確実性が明確でなければならないAIシステムの運用上の決定制御について検討する。
本稿では,YES,NO,TBDを予測する境界決定制御モデルであるEvaluatorDPTを提案する。
論文 参考訳(メタデータ) (2026-05-26T23:37:56Z) - Can Revealed Preferences Clarify LLM Alignment and Steering? [23.175180848107093]
LLMの観測した選択が最適化するインプリート嗜好を推定するための経験的パイプラインを提案する。
提案手法は,モデルが一貫したゴール指向の振る舞いをするかどうかの厳密な評価を可能にすることを示す。
論文 参考訳(メタデータ) (2026-05-08T23:26:35Z) - TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。
キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
論文 参考訳(メタデータ) (2025-04-20T09:20:55Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳(メタデータ) (2023-07-06T04:13:57Z) - Probabilities Are Not Enough: Formal Controller Synthesis for Stochastic
Dynamical Models with Epistemic Uncertainty [68.00748155945047]
複雑な力学系のモデルにおける不確実性を捉えることは、安全なコントローラの設計に不可欠である。
いくつかのアプローチでは、安全と到達可能性に関する時間的仕様を満たすポリシーを形式的な抽象化を用いて合成する。
我々の貢献は、ノイズ、不確実なパラメータ、外乱を含む連続状態モデルに対する新しい抽象的制御法である。
論文 参考訳(メタデータ) (2022-10-12T07:57:03Z) - Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。
提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
論文 参考訳(メタデータ) (2022-03-09T01:55:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。