論文の概要: RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
- arxiv url: http://arxiv.org/abs/2610.15884v2
- Date: Sun, 18 Oct 2026 00:55:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 06:32:45.272171
- Title: RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
- Title（参考訳）: RetryBench: GPTツール使用時の回復成績からリトライ許可を分離する
- Abstract要約: False retry permission (FRP) は、エージェントが可視契約からサポートを受けずにタイムアウトツールコールをリトライした場合に発生する。
保護された回復が成功したことは、サポート対象の再試行の信頼性を損なうものではない。
- 参考スコア（独自算出の注目度）: 6.366315296546134
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: False retry permission (FRP) occurs when an agent retries a timed-out tool call without support from the visible contract. RetryBench separates this error from realized recovery. Successful protected recovery does not imply reliable rejection of unsupported retries. In a 720-response key control, valid keys usually enabled safe progress, but offered changed keys elicited unsupported retries in Sol (1/80), Terra (55/80), and Luna (60/80). A later 240-response control removed the candidate and required models to supply a key. Luna still made 8/80 unsupported dispatches; Sol and Terra made none in 80 responses each. Accepting a displayed bad key therefore cannot explain all observed errors, although changed output requirements and conditions preclude a pure display-effect comparison. Removing the weak-contract label increased retries in Sol and Terra's coded-action conditions in a six-endpoint study. A separate 1,536-response canonical-action block also found a positive Terra contrast (115/128 versus 124/128 retries), concentrated in two task/order conditions; the other five contrasts remained unresolved after multiplicity correction. An explicit-contract cue control elicited deferral in all 762 returned responses, leaving recovery unresolved. These results support reporting permission and recovery together across declared interface variants. The evidence covers four purposive tasks, fixed GPT endpoints, and one recovery decision; it identifies neither internal mechanisms nor episode-level safety.
- Abstract（参考訳）: False retry permission (FRP) は、エージェントが可視契約からサポートを受けずにタイムアウトツールコールをリトライした場合に発生する。
RetryBenchは、このエラーと実際のリカバリを分離する。
保護された回復が成功したことは、サポート対象の再試行の信頼性を損なうものではない。
720応答のキーコントロールでは、有効なキーは一般的に安全なプログレスを可能にするが、Sol (1/80)、Terra (55/80)、Luna (60/80) で変更されたキーの再試行が提供されている。
後に240の応答制御により候補は取り除かれ、鍵の供給にはモデルが必要となった。
ルナは8/80の派兵を続け、ソルとテラはそれぞれ80の派兵を行った。
したがって、表示された悪いキーを受け入れると、すべての観測されたエラーを説明できないが、出力要求や条件が変更され、純粋なディスプレイ効果の比較が妨げられる。
弱収縮ラベルの除去は、SolとTerraのコード化された動作条件における再試行を6点研究で増加させた。
別個の1,536応答正準作用ブロックでは、正のテラコントラスト(115/128対124/128リトライ)が2つのタスク/オーダー条件に集中しており、残りの5コントラストは多重度補正後に未解決のままであった。
明示的に収縮したキューコントロールは、762の全ての応答で遅延を誘発し、回復は未解決のままであった。
これらの結果は、宣言されたインターフェースの亜種間でのパーミッションとリカバリの報告をサポートする。
このエビデンスには、4つのパーポーブタスク、固定GPTエンドポイント、1つのリカバリ決定が含まれており、内部メカニズムやエピソードレベルの安全性は特定されていない。
関連論文リスト
- Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。
標準的な最終精度評価は、これらの反対のメカニズムを詳述する。
複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
論文 参考訳（メタデータ） (2026-09-28T14:31:19Z) - Correct Now, Insufficient Later: Auditing Update Sufficiency in Context Compression [0.0]
メモリは、後の更新で要求される区別を捨てながら、現在のクエリに正しく答えることができる。
我々はこの失敗を2つの歴史監査で調査する。
パイロットは6つの合成機構の24の履歴ペアを評価する。
論文 参考訳（メタデータ） (2026-09-17T10:51:37Z) - F-DACE: Fuzzy Disagreement-Aware Causal Evidence Fusion for Abstention-Safe Conversational Retail Decision Support [0.0]
F-DACEはファジィメンバシップとして精度、妥当性の重なり、プラセボの難燃安定性、インターバルオーバーラップ、方向性の一致を表す。
LangGraphの会話エージェントは、影響、結果、レバー最適化ツールを公開し、決定論的検証器は因果層状態を保存する。
論文 参考訳（メタデータ） (2026-09-16T07:14:38Z) - Invalidation Contracts for Cross-Episode Agent Memory [0.8673353590830692]
APIエラーからのリカバリ提案をキャッシュするLLMエージェントは、後続のエピソードでリデリベーションをスキップすることができる。
サーバ側のデータドリフトは、キャッシュされた修正をサイレント障害にします。
バージョンスタンプとキャッシュ可能性ヒントをすべてのリカバリ提案にアタッチするプロトコル層である、無効化契約を導入する。
論文 参考訳（メタデータ） (2026-08-31T18:45:07Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Governed Persistent Memory: Source-Bound State Semantics and Fail-Closed Release for Long-Horizon Agents [3.202978695204522]
長期のエージェントメモリは、通常、セレクトストアとして扱われるが、検索は、矛盾する、取って代わられた、削除された、削除された、または古いレコードが、外部の要求をサポートするかどうかを判断しない。
本稿では,Governed Persistent Memory (GPM)について紹介する。
論文 参考訳（メタデータ） (2026-08-12T18:00:42Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - No Usable Linear "Capitulation Direction" in Two Small LLMs: A Validation Protocol for Activation-Steering Claims, and a Cross-Family Behavioral Study of Sycophancy Under Pushback [0.0]
言語モデルは、ユーザーが押し戻すと、しばしば正しい答えを放棄します。
我々は、異なる家庭の2つの小さな指導訓練モデルでこれを研究する。
測定ハザードの定量化: 降水量の過小評価を18～24ポイントまで下げる。
論文 参考訳（メタデータ） (2026-07-16T17:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。