論文の概要: Deletion Sensitivity Is a Property of the Model: A Three-Condition Measurement over 72 Valid Experimental Cells
- arxiv url: http://arxiv.org/abs/2611.13223v3
- Date: Fri, 13 Nov 2026 09:36:57 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:21:31.560325
- Title: Deletion Sensitivity Is a Property of the Model: A Three-Condition Measurement over 72 Valid Experimental Cells
- Title(参考訳): 除去感度はモデルの性質である:72個の正極性実験細胞を用いた3コンディション測定
- Abstract要約: 推論モデルは、マルチターンツールセッションのすべてのターンでトレースを書き、その後、それを読み取ります。
本稿では,マルチターンツールコールにおける履歴の完全削除の直接的,盲目的,多列的計測について報告する。
- 参考スコア(独自算出の注目度): 7.507350679759051
- License:
- Abstract: Reasoning models write a trace at every turn of a multi-turn tool session, and later turns read it. Upstream providers hold different retention constraints, so a request forwarded across issuers arrives with its history deleted, and its task cost remains unmeasured. This paper reports a direct, blind, multi-seed measurement of full history deletion in multi-turn tool calling, through three rendering conditions, a calibrated set of 72 valid experimental cells, a multi-seed protocol, and the official checker. The same deletion separates the models by direction and by magnitude, one class losing tens of points, another gaining, and a third unchanged, with the endpoint ordering reproduced across seeds and task subsets modulating the magnitude and, near zero, the sign. A re-dosed model preserves its success across the full deletion range, so the reading belongs to the model rather than the dose. Deletion sensitivity is a model-level property under an operational definition, measured under a fixed task family, scorer, and protocol, and a retrained model is a new model that a two-cell screen, one retention run and one deletion run, re-reads for the cost of two runs. Deletion sensitivity is thus a measurable property of the model, and the reading must enter routing as prior information rather than persist as an invisible default cost.
- Abstract(参考訳): 推論モデルは、マルチターンツールセッションのすべてのターンでトレースを書き、その後、それを読み取ります。
アップストリームプロバイダは保持制限が異なるため、発行者間で転送された要求はその履歴を削除し、そのタスクコストは未測定のままである。
本稿では,3つのレンダリング条件,72個の有効な実験セルの校正セット,マルチシードプロトコル,および公式チェッカーを通じて,マルチターンツールコールにおける全履歴削除の直接的,盲目,マルチシード計測を行った。
同じ削除は、モデルを方向と大きさで分離し、1つのクラスは数十個の点を失い、もう1つの点が得られ、第3のクラスは変化しない。
再ドーズされたモデルは、全削除範囲にわたってその成功を保っているため、読み出しは、線量ではなくモデルに属する。
削除感度は、固定タスクファミリ、スコア、プロトコルの下で測定された、運用上のモデルレベルの特性であり、再トレーニングされたモデルは、2つのセルスクリーン、1つのリテンションラン、1つの削除ランが2回の実行コストで再読み取りされる新しいモデルである。
したがって、削除感度はモデルの測定可能な特性であり、読み取りは目に見えないデフォルトコストとして持続するのではなく、事前情報としてルーティングに入る必要がある。
関連論文リスト
- Same Error, Different Recovery: How Delivery Changes LLM Agent Behavior [4.248579005664226]
ツールを使用する言語モデルは、失敗した呼び出しをリトライするか、修正するか、停止してユーザーに伝えるかを決定する必要があります。
我々は,この配送問題を,様々な配置,ガイダンス,履歴保持,ターン構造によって分離する。
我々はこの形式を決定論的推論エンジン内でオプトイン回復層として実装し、公開ベンチマークと符号化エージェントで評価する。
論文 参考訳(メタデータ) (2026-11-08T19:52:13Z) - Routes of Reasoning: Reading and Reshaping Test-Time Compute in MoE Models [54.47588263857889]
推論モデルは、計画、導出、検証など、異なる振る舞いにまたがるテスト時間計算を割り当てます。
トークンの予算やステアリングのような既存の介入は、特定の行動をターゲットにするのではなく、推論期間を規制する。
我々は,Mixture-of-Expertsルータが,動作制御のための自然な,トレーニング不要なインターフェースを提供することを示した。
論文 参考訳(メタデータ) (2026-11-04T04:13:02Z) - CAREFUL-Bench: Effect-Aware, Judge-Free Evaluation of Multi-Turn LLM Function Calling [45.88028371034407]
バークレー関数呼び出しリーダーボードは、シミュレートされたサービスの最終的な状態のみをチェックする。
ジャッジフリーのリプレイスコアラは、ログ化された任意のBFCLランをリスコアし、800の参照トラジェクトリすべてでBFCLの結果を再生する。
確認対応プロトコルは、提案に答える決定論的ユーザを追加する。
論文 参考訳(メタデータ) (2026-11-02T11:47:05Z) - Invocation-Level Reliability of Tool-Using Agents [0.7874708385247353]
クリーンな教師強化コンテキストと,モデル独自のフリーランニングコンテキストの両方の下で,その2つを分離する,正しい起動率を測定する。
深さ6では、モデル自身のクリーンコンテキスト能力の約70%が、以前の失敗に失われる。
論文 参考訳(メタデータ) (2026-08-23T09:04:59Z) - When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models [45.91367912142692]
異なるモデルがいまだに同じ狭い部分集合を選択している可能性を示し、単一の引用が誤りを犯さずに、引用モノカルチャーを生成する。
3つのベンダーの11のモデルが、30のランダムなパネルから少なくとも10の論文を選択しており、実際のタイトルと抽象物があるが、作者が作り直され、再割り当て年、隠れた会場と引用数がある。
論文 参考訳(メタデータ) (2026-08-03T14:27:46Z) - Auditing Forgetting in Limited Memory Language Models [0.0]
既存の評価は、集合体の削除後の正しさを測定する。
本稿では,モデルが固定され,推論時にデータベースの状態が変化する因果監査フレームワークを提案する。
これを13のデータベースで12,228のエイリアス削除に適用する。
論文 参考訳(メタデータ) (2026-07-01T08:30:28Z) - MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。
本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。
ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
論文 参考訳(メタデータ) (2026-05-26T15:38:46Z) - Semantic Layers for Reliable LLM-Powered Data Analytics: A Paired Benchmark of Accuracy and Hallucination Across Three Frontier Models [0.0]
解析データベースの自然言語クエリ用にデプロイされたLLMは、2つの障害に悩まされる。
ClickHouseのCleaned Contoso Retailデータセットに対して,100の自然言語質問に対して,3つのフロンティアLSMをベンチマークした。
論文 参考訳(メタデータ) (2026-04-28T02:53:23Z) - Brittlebench: Quantifying LLM robustness via prompt sensitivity [44.950999933205985]
モデル感度を定量化する理論的枠組みを導入する。
我々は、フロンティアモデルの感度を均等に評価するために、新しい評価パイプラインであるBrttlebenchを設計する。
セマンティクスを保存する入力摂動は、与えられたモデルの性能変動の最大半分を占めることができる。
論文 参考訳(メタデータ) (2026-02-27T21:12:13Z) - Metacognitive Reuse: Turning Recurring LLM Reasoning Into Concise Behaviors [45.578570554635775]
大規模言語モデル(LLM)は、思考の連鎖を拡大することによって、多段階の問題を解決する。
再帰的推論の断片を簡潔かつ再利用可能な「行動」に変換する簡単なメカニズムについて検討する。
これらの振る舞いは"振る舞いハンドブック"に格納され、推論時のモデルインコンテキストにそれらを供給するか、教師付き微調整によってパラメータに蒸留する。
論文 参考訳(メタデータ) (2025-09-16T16:44:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。