論文の概要: Deletion Sensitivity Is a Property of the Model: A Three-Condition Measurement across Seven Open Reasoning Models
- arxiv url: http://arxiv.org/abs/2611.13223v2
- Date: Wed, 11 Nov 2026 21:44:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.898008
- Title: Deletion Sensitivity Is a Property of the Model: A Three-Condition Measurement across Seven Open Reasoning Models
- Title(参考訳): 削除感度はモデルの性質である:7つの開共振モデルにおける3成分測定
- Abstract要約: 推論モデルは、マルチターンツールセッションの各ターンに推論トレースを書き、その後、この履歴を読み取る。
本報告では,マルチターンツールコールにおける完全推論履歴削除の直接的,盲目的,マルチシード計測について述べる。
- 参考スコア(独自算出の注目度): 6.692473548694006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning models write a reasoning trace at every turn of a multi-turn tool session, and later turns read this history. Across 94k ShareGPT conversations, 73 percent of user interactions span multiple turns. Upstream providers bind each trace to its issuer, so a request forwarded across issuers arrives with its history deleted, and the task cost of this stripping remains unmeasured. To the best of our knowledge, this paper presents the first direct, blind, multi-seed measurement of full reasoning-history deletion in multi-turn tool calling, through three rendering conditions, nine open-weight reasoning models, three seeds, 794 tasks, and the official checker. The same deletion spans -3.9 to +51.3 points with both ends excluding zero, and for the one model re-dosed from 0 to 100 percent deletion, the reading varies by at most 1.5 points. Deletion sensitivity is a model-level property. The reading follows the model itself and stays constant across deployments, and a retrained or re-released model is a new model that a two-cell screen, one retention run and one deletion run, re-reads for the cost of two runs. Deletion sensitivity is thus a measurable property of the model, and the reading must enter routing and aggregation as prior information rather than persist as an invisible default cost.
- Abstract(参考訳): 推論モデルは、マルチターンツールセッションの各ターンに推論トレースを書き、その後、この履歴を読み取る。
94kのShareGPT会話では、ユーザインタラクションの73%が複数のターンにまたがっている。
アップストリームプロバイダは各トレースを発行者にバインドするため、発行者間で転送された要求はその履歴を削除し、このストリップのタスクコストは未測定のままである。
本稿では,3つのレンダリング条件,9つのオープンウェイト推論モデル,3つのシード,794タスク,およびオフィシャルチェッカーを通じて,マルチターンツールコールにおける完全推論履歴削除の直接的,盲目,マルチシード計測を行った。
同じ削除は、ゼロを除いた-3.9から+51.3点にまたがっており、0から100%の削除で再ドーズされた1つのモデルの場合、読み出しは1.5点以上変化している。
削除感度はモデルレベルの特性である。
読み取りはモデル自体に従い、デプロイ全体にわたって一定であり、再トレーニングまたは再リリースされたモデルは、2セルスクリーンと1つのリテンションランと1つの削除ランが2ランのコストで再読み取りされる新しいモデルである。
したがって、削除感度はモデルの測定可能な特性であり、読み取りは、目に見えないデフォルトコストとして持続するのではなく、事前情報としてルーティングと集約に入る必要がある。
関連論文リスト
- Same Error, Different Recovery: How Delivery Changes LLM Agent Behavior [4.248579005664226]
ツールを使用する言語モデルは、失敗した呼び出しをリトライするか、修正するか、停止してユーザーに伝えるかを決定する必要があります。
我々は,この配送問題を,様々な配置,ガイダンス,履歴保持,ターン構造によって分離する。
我々はこの形式を決定論的推論エンジン内でオプトイン回復層として実装し、公開ベンチマークと符号化エージェントで評価する。
論文 参考訳(メタデータ) (2026-11-08T19:52:13Z) - Routes of Reasoning: Reading and Reshaping Test-Time Compute in MoE Models [54.47588263857889]
推論モデルは、計画、導出、検証など、異なる振る舞いにまたがるテスト時間計算を割り当てます。
トークンの予算やステアリングのような既存の介入は、特定の行動をターゲットにするのではなく、推論期間を規制する。
我々は,Mixture-of-Expertsルータが,動作制御のための自然な,トレーニング不要なインターフェースを提供することを示した。
論文 参考訳(メタデータ) (2026-11-04T04:13:02Z) - CAREFUL-Bench: Effect-Aware, Judge-Free Evaluation of Multi-Turn LLM Function Calling [45.88028371034407]
バークレー関数呼び出しリーダーボードは、シミュレートされたサービスの最終的な状態のみをチェックする。
ジャッジフリーのリプレイスコアラは、ログ化された任意のBFCLランをリスコアし、800の参照トラジェクトリすべてでBFCLの結果を再生する。
確認対応プロトコルは、提案に答える決定論的ユーザを追加する。
論文 参考訳(メタデータ) (2026-11-02T11:47:05Z) - Invocation-Level Reliability of Tool-Using Agents [0.7874708385247353]
クリーンな教師強化コンテキストと,モデル独自のフリーランニングコンテキストの両方の下で,その2つを分離する,正しい起動率を測定する。
深さ6では、モデル自身のクリーンコンテキスト能力の約70%が、以前の失敗に失われる。
論文 参考訳(メタデータ) (2026-08-23T09:04:59Z) - When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models [45.91367912142692]
異なるモデルがいまだに同じ狭い部分集合を選択している可能性を示し、単一の引用が誤りを犯さずに、引用モノカルチャーを生成する。
3つのベンダーの11のモデルが、30のランダムなパネルから少なくとも10の論文を選択しており、実際のタイトルと抽象物があるが、作者が作り直され、再割り当て年、隠れた会場と引用数がある。
論文 参考訳(メタデータ) (2026-08-03T14:27:46Z) - Auditing Forgetting in Limited Memory Language Models [0.0]
既存の評価は、集合体の削除後の正しさを測定する。
本稿では,モデルが固定され,推論時にデータベースの状態が変化する因果監査フレームワークを提案する。
これを13のデータベースで12,228のエイリアス削除に適用する。
論文 参考訳(メタデータ) (2026-07-01T08:30:28Z) - MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。
本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。
ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
論文 参考訳(メタデータ) (2026-05-26T15:38:46Z) - Semantic Layers for Reliable LLM-Powered Data Analytics: A Paired Benchmark of Accuracy and Hallucination Across Three Frontier Models [0.0]
解析データベースの自然言語クエリ用にデプロイされたLLMは、2つの障害に悩まされる。
ClickHouseのCleaned Contoso Retailデータセットに対して,100の自然言語質問に対して,3つのフロンティアLSMをベンチマークした。
論文 参考訳(メタデータ) (2026-04-28T02:53:23Z) - Brittlebench: Quantifying LLM robustness via prompt sensitivity [44.950999933205985]
モデル感度を定量化する理論的枠組みを導入する。
我々は、フロンティアモデルの感度を均等に評価するために、新しい評価パイプラインであるBrttlebenchを設計する。
セマンティクスを保存する入力摂動は、与えられたモデルの性能変動の最大半分を占めることができる。
論文 参考訳(メタデータ) (2026-02-27T21:12:13Z) - Metacognitive Reuse: Turning Recurring LLM Reasoning Into Concise Behaviors [45.578570554635775]
大規模言語モデル(LLM)は、思考の連鎖を拡大することによって、多段階の問題を解決する。
再帰的推論の断片を簡潔かつ再利用可能な「行動」に変換する簡単なメカニズムについて検討する。
これらの振る舞いは"振る舞いハンドブック"に格納され、推論時のモデルインコンテキストにそれらを供給するか、教師付き微調整によってパラメータに蒸留する。
論文 参考訳(メタデータ) (2025-09-16T16:44:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。