論文の概要: Precedent Labels and Facts Shift LLM Approval Decisions in Opposite Directions
- arxiv url: http://arxiv.org/abs/2611.00672v1
- Date: Sat, 31 Oct 2026 06:11:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.425142
- Title: Precedent Labels and Facts Shift LLM Approval Decisions in Opposite Directions
- Title（参考訳）: 先行ラベルとファクトは反対方向のLCM承認決定をシフトさせる
- Abstract要約: 言語モデルが記述されたポリシーの下で返金やクレーム要求を決定すると、システムは同様のケースを示すことができる。
モデルは、ポリシー、要求、過去の3つのケースを見て、記録された決定または事実を変更して、要求を固定します。
過去のケースがリクエストのコピーに近い場合、記録された決定をDECNYからAPPROVEに切り替えると、承認率は30～55ポイント上昇する。
- 参考スコア（独自算出の注目度）: 4.75896671760577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a language model decides refund or claim requests under written policies, the system can show it similar past cases. Each past case has two parts: its facts and the decision recorded for it. We separate the two. A model sees a policy, a request and three past cases, and we change either the recorded decisions or the facts, keeping the request fixed. We select requests that are close calls: deciding without past cases, DeepSeek V4.1 Flash approved each in some of four tries and denied it in others. When the past cases are near-copies of the request (its facts with a few details changed), switching their recorded decisions from DENY to APPROVE raises approval by about 30 to 55 percentage points in DeepSeek V4.1 Flash, GPT-5.6 Luna and Claude Haiku 5.5 on policies written for the study, and DeepSeek and Luna show the same on nine public policies paraphrased from real ones. The facts push the other way: shown without their recorded decisions, past cases whose facts support approval make these two models approve less often than past cases whose facts support denial. One reading is that the request looks weaker next to them. This push is not just a correction toward the right answer: in an additional DeepSeek analysis, it was of similar estimated size on requests that human annotators judged approvable and on those they judged deniable. In a separate DeepSeek run on the public policies, when the past cases are near-copies of a different request, switching their decisions moves approval by 9 points instead of 43, while facts that support approval still lower it by 22 points against facts that support denial. Systems that retrieve past decisions should test the two parts separately.
- Abstract（参考訳）: 言語モデルが記述されたポリシーの下で返金やクレーム要求を決定すると、システムは同様のケースを示すことができる。
過去の事件には、その事実と記録された決定の2つの部分がある。
私たちは2つを分けます。
モデルは、ポリシー、要求、過去の3つのケースを見て、記録された決定または事実を変更して、要求を固定します。
過去のケースなしで決定する、DeepSeek V4.1 Flashは4つの試行でそれぞれ承認し、それを否定します。
DENYからAPPROVEに記録された決定を変更すれば、DeepSeek V4.1 Flash、GPT-5.6 Luna、Claude Haiku 5.5の30から55パーセントの承認が得られ、DeepSeekとLunaは、実際の9つの公開ポリシーについて同じことを示している。
事実は、記録された決定なしで示されるように、事実が承認を支持している過去のケースは、事実が否定を支持している過去のケースよりも、これらの2つのモデルが承認する頻度を少なくする。
ひとつは、リクエストがその隣でより弱いように見えることです。
追加のDeepSeek分析では、人間のアノテータが承認可能と判断したリクエストと、彼らが判断したデニブルとで、同様の推定サイズだった。
個別のDeepSeekでは、過去のケースが別のリクエストのコピーに近い場合、その決定を43ではなく9ポイント変更する一方、承認を支持する事実は拒否を支持する事実に対して22ポイント下げる。
過去の意思決定を回収するシステムは、この2つを別々にテストすべきである。
関連論文リスト
- LEANGUARD: Lean-Verified Guardrails for Tool-Using Agents [40.01021473111788]
LeanGuardは、呼び出しが環境に到達する前にLean4で書かれたポリシーに対して提案されたすべてのツールコールをチェックする。
フィードバックにより、エージェントは違反したルールとヒントを受け取る。
証明誘導による修復により、リーンプログラミングはユーザの意図を守り、ポリシーがそれを認めることを証明する、近くの呼び出しを検索する。
論文 参考訳（メタデータ） (2026-11-02T00:26:48Z) - Jev-DLC: Decision-Level Continual Learning from Typed Feedback [12.957058055396965]
タイプドフィードバックによる決定レベル連続学習として,リクエスト間の結果の持続性について検討する。
Jev-DLCは、各補正を、繰り返し発生する行動同一性に関する証拠と、優先された選択と拒否された選択の間の指示された関係の両方として扱う。
TCPA-Benchも紹介する。TPA-Benchは、後続の判断に対する効果を通じてのみ修正をクレジットする時系列スイートである。
論文 参考訳（メタデータ） (2026-10-22T16:33:30Z) - Human Interventions as Labels: Localizing, Steering, and (Sometimes) Editing the Computations Behind LLM Agent Failures [41.99844472131922]
本研究では,視覚障害者の判断に対して,ルールに基づく監督者のラベルを付して,制御されたエージェント環境を1つの障害で調査する。
第一に、w-vs-act決定は、すべての資格を持つ家族に因果的ローカライズ可能である。
第二に、オーバーエイキングには2つのメカニスティックなシグネチャがある: 4つのファミリーでは、モデルは明らかにその要求が曖昧であることを知っている。
論文 参考訳（メタデータ） (2026-10-15T11:27:19Z) - Same Operation, Different Permission: Evaluating Whether Guardrails Honor Authorization [47.05539777659961]
ベンチは、その言語トラックで同じ操作の 認証証拠を対比するベンチマークです。
ブロックされた操作の多くは、正しい否定ではなく、レビューの失敗によるものであることを示す。
出力フォーマットの修復は使用可能な決定を復元するが、承認された要求に敬意を表し、第2のレビュアーを追加することでエラーを除去する。
論文 参考訳（メタデータ） (2026-10-12T14:17:21Z) - Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness [3.6704226968275253]
大きな言語モデルは、判決の背後にある法令や前例を命名することで、法的決定を正当化する傾向にある。
ケース事実を固定し、名前のついた法的権限を無関係なものに置き換え、モデルの進化する判断をその隠された状態からデコードする。
論文 参考訳（メタデータ） (2026-10-08T17:26:17Z) - Ask, Relax, or Act? Evaluating Actionable Indeterminacy in LLM Preference Reasoning [51.810946382216436]
我々は、行動可能な不確定性(actable indeterminacy)を形式化する。
オブジェクト割り当て、ミーティングスケジューリング、アパートの選択、安定したマッチングにまたがるソルバグラウンドベンチマークを構築した。
論文 参考訳（メタデータ） (2026-10-02T10:22:42Z) - Augur: A Synthetic Decision Lab for Rehearsing Reactions to Product and Policy Changes [0.0]
Augurは、人々が製品やポリシーにどう反応するかを、オフラインでリハーサルする。
変更文書からタイプドナレッジグラフを構築し、接地されたペルソナ市場をポップアップさせ、インタラクションをシミュレートし、監査可能な決定メモを返す。
我々は、50の製品とポリシーのエピソードに対する5方向のリリース評価をスコア付けします。
論文 参考訳（メタデータ） (2026-09-24T15:10:29Z) - Empty Intersection: Provenance Coverage Rose to 98% and Neither Verification Decision Moved [2.1944266018812875]
各行のグレードである2つの構造的防御は、それらを動機づけた生産配備に対して測定された。
どちらの決定にも届かなかった。
どちらの決定も許容可能な入力を与えない。
論文 参考訳（メタデータ） (2026-09-23T02:22:49Z) - PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
論文 参考訳（メタデータ） (2026-08-24T17:13:25Z) - Is this Citation on Point? [1.4303229099281964]
実法的引用の制御摂動による命題レベルの引用支援検証について検討する。
モデルは不正ケースの93%-100%を占める。
裁判所の意見では37-61%、法的な説明では52-83%の不正な汚職しか得られていない。
論文 参考訳（メタデータ） (2026-08-12T20:28:55Z) - DeepSciVerify: Verifying Scientific Claim--Citation Alignment via LLM-Driven Evidence Escalation [39.146761527401424]
本稿では,科学的クレーム引用検証のための2段階パイプラインであるDeepSciVerifyを紹介する。
このシステムはまず, 要約を用いてクレームを検証し, 必要な場合にのみ全文を検索, 解析する。
論文 参考訳（メタデータ） (2026-05-26T21:33:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。