論文の概要: The Harness Is the Model: Agent Scaffolding Changes a Fixed LLM's Compliance with Banking Conduct Rules, Unevenly Across Models
- arxiv url: http://arxiv.org/abs/2611.06116v1
- Date: Wed, 04 Nov 2026 07:59:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.019534
- Title: The Harness Is the Model: Agent Scaffolding Changes a Fixed LLM's Compliance with Banking Conduct Rules, Unevenly Across Models
- Title(参考訳): The Harness is the Model: Agent Scaffolding changes a fixeded LLM's Compliance with Banking conduct Rules, Unevenly Aevenly Across Models
- Abstract要約: 銀行は言語モデルを検証するが、システムをデプロイする。
モデルが固定された場合、銀行取引規則の遵守が変更されるかどうかを検証する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Banks validate language models, but they deploy systems: a model inside a harness that decides what it sees, which tools it can call and who checks its actions. We test whether that harness changes compliance with banking conduct rules when the model is held fixed. Four open-weight models each ran five harnesses (a pipeline that makes one structured decision, a ReAct-style tool loop, a loop in which the policy is reachable only through search, a loop with a long benign customer memory, and a loop with a same-model compliance reviewer) on 156 pre-registered cases in a simulated retail bank whose 11 rule families paraphrase EU consumer-credit, payments, investor-protection, data-protection and anti-money-laundering provisions. Every one of the 3120 two-turn episodes was scored deterministically from the executed tool trace, with violations and over-refusals counted separately. Pooled across models the harness moved the correct-case rate only between 87.3% and 92.1%, but within a model it mattered a great deal: for one model the spread between its best and worst harness was 11.5 percentage points, enough to move it from first to last place among the four models, while for another the harness made no detectable difference; the model x harness interaction itself was suggestive rather than conclusive. The same-model reviewer cut violations from 9.6% to 6.4% without raising over-refusals, contrary to our pre-registered prediction. Rules that require date arithmetic failed in every harness. In an exploratory analysis with two LLM judges and a blind human check, 26% of violations were accompanied by a customer message that denied the action the agent had just executed, which a transcript-only review would record as a correct refusal. For model-risk management the unit of validation should be the model-harness pair, and conduct testing should read the action log, not the conversation.
- Abstract(参考訳): 銀行は言語モデルを検証するが、システムをデプロイする — 目にするものを決定するハーネス内のモデル、呼び出し可能なツール、アクションをチェックするツール。
モデルが固定された場合、銀行取引規則の遵守が変更されるかどうかを検証する。
4つのオープンウェイトモデルは、それぞれ5つのハーネス(1つの構造化された決定を行うパイプライン、ReActスタイルのツールループ、ポリシーが検索を通じてのみ到達可能なループ、長い良識のある顧客メモリを持つループ、同じモデルコンプライアンスレビュアーを持つループ)を実行した。
3120回の2ターンのエピソードはいずれも、実行されたツールトレースから決定的にスコアされ、違反と過剰な拒絶が別々にカウントされた。
モデル間でポーリングされたハーネスは87.3%から92.1%の間でのみ正しいケースレートを移動させたが、モデル内では非常に重要であった: 1つのモデルでは、最高のハーネスと最悪のハーネスの間の広がりは11.5ポイントであり、4つのモデルのうちの1位から最後の位置に移動するのに十分であり、もう1つのモデルでは、ハーネスは検出可能な違いを持たず、モデルxハーネスの相互作用自体が決定的なものではなく示唆的なものだった。
同モデルのレビュアーは、事前登録された予測に反して、過剰な拒絶を起こさずに、違反を9.6%から6.4%に減らした。
日付演算を必要とするルールは、すべてのハーネスで失敗した。
LLMの2人の審査員と盲目の人間のチェックによる探索分析では、違反の26%は、エージェントが実行したばかりのアクションを否定する顧客メッセージが伴っていた。
モデルリスク管理では、バリデーションの単位はモデルハーネスペアであり、テストは会話ではなくアクションログを読むべきである。
関連論文リスト
- Free to Look, Free to Reason: Simple LLM Harnesses Outdiagnose Hand-Crafted Root Cause Analysis Agents [9.416843316541717]
5つのLCM RCAエージェントとRCAtlasの統計的・因果的手法を比較した。
単純なハーネスは最も正確(PR@1 65-77%、中級3モデル)で、発行されたエージェント(16-53%)とLLM以外のメソッド(6-39%)に先行している。
論文 参考訳(メタデータ) (2026-10-26T17:12:02Z) - Output Discipline Sets the Floor: A Falsification-Guided, Model-Agnostic Agent Protocol for Auditable Hypothesis-Driven Decision Making [6.722659018729722]
意思決定を5段階閉ループとして定式化するモデルに依存しないエージェント・フレームワークをテストする。
全ての候補者はすべての証拠項目に対して判断され、少なくとも半数の候補者は、結論が認可される前に偽造されなければならない。
5つの基本モデルにまたがって、この効果はゼロショット出力の規律に対する符号条件である。
論文 参考訳(メタデータ) (2026-10-13T12:46:44Z) - MARS: Malware Analysis with Rule-Based Scoring of LLM Claims [0.08460698440162889]
大規模な言語モデルでは、外部ポリシーによる直接的な判断や行動的クレームを通じてマルウェアをトリアージすることができる。
マルウェアトリアージフレームワークであるMARSについて,直接分類とシングルパスクレームスコアを比較した。
我々は、アーカイブされた評定を正確に再現し、修正されたポリシーを同じレコードに適用し、提供者によって取り下げられた2つの追加モデルの出力を含む。
論文 参考訳(メタデータ) (2026-10-07T06:55:35Z) - Persuaded, Not Informed: Incentive-Misaligned Witnesses Defeat In-Context Grounding [0.0]
より強力なモデルで対処されていない障害モードを特定します。
文脈が楽観主義へのインセンティブを持つ当事者による主張を含む場合、モデルはこの主張を証拠として扱い、明確化は会社の記録を容認できないとみなす。
論文 参考訳(メタデータ) (2026-09-23T23:52:24Z) - Grow the Harness, Not the Context: From Strategy-Free Scaffolds to Reusable Specialist Agents [40.22528682803753]
大きな言語モデル(LLM)エージェントは、しばしば関連するタスクのストリームを処理するが、標準的なハーネスは、各タスクのコンテキスト内で同じ制御決定を再構築するようモデルに繰り返し要求する。
タスク固有のセマンティック推論のためのLCMコールを保存しながら、繰り返し制御を再利用可能なコードに変換することができるかどうかを検討する。
我々は,障害誘導型トレーニングパラダイムであるGrowing Harnessを紹介し,エージェント自身を戦略のない足場から学習する。
論文 参考訳(メタデータ) (2026-09-22T17:40:45Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳(メタデータ) (2026-08-26T18:22:03Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳(メタデータ) (2026-07-31T05:34:02Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。
15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。
まず、評価設計は結論を根本的に変えることができる。
第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
論文 参考訳(メタデータ) (2026-05-03T20:05:08Z) - HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。
HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。
我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7~10ポイントの絶対精度を観測した。
論文 参考訳(メタデータ) (2026-02-15T02:50:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。