論文の概要: Similarity Gates Approve Reversals: A Validity Audit of Embedding-Cosine Thresholds in Agent Systems
- arxiv url: http://arxiv.org/abs/2608.10216v1
- Date: Mon, 10 Aug 2026 20:36:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.808791
- Title: Similarity Gates Approve Reversals: A Validity Audit of Embedding-Cosine Thresholds in Agent Systems
- Title（参考訳）: 類似性ゲートは逆転を許容する:エージェントシステムにおけるエンベディング・コサイン閾値の妥当性監査
- Abstract要約: エージェントフレームワークは、テキストブロックを埋め込みコサインの類似性によって比較し、固定されたカットオフを決定する品質ゲートを出荷する。
重複フィルタ、セマンティックキャッシュ、ドリフトガード、応答グレーダゲートは、質問に答えるために配置されます。
我々はこのゲートクラスを測定器として監査する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent frameworks ship quality gates that compare text blocks by embedding-cosine similarity and decide at a fixed cutoff. Deduplication filters, semantic caches, drift guards, and answer grader gates deploy to answer the question: "Does this text still mean the same thing?" But the score answers a different question: "How much did the wording change?" We audit this gate class as a measurement instrument. In the cases these gates exist to catch, the two can run in opposite ways. Many times, reversing an instruction is a single word edit, while agreement often rephrases a sentence. The consequence is a safety check that fires backwards. The production drift guard we audited caught 0 of 56 meaning-breaking mutations, and one approved item, "withhold the study drug" -> "administer the study drug", came in at cosine 0.9608. We observed five shipped operating points, and balanced accuracy across 90 configuration-threshold-task cells never exceeded 0.700 (median 0.525). The same confounder also corrupted evaluations. A naively built corpus inherits this confounder and can return an inverted verdict, with a decision AUROC exactly 0.000 in 13 of 18 configuration-task cells (at most 0.040 in all 18) against 0.440-0.815 for the same nine configurations under a balanced 2x2 design. Twice in the effort it captured our own headline claims. Obvious repairs fail: an encoder swap and an overlap-conditioned gate (0.750 in-sample, 0.533 held-out) land at chance on separately authored held-out data, and an NLI drop-in did no better. Embeddings do still bear hope here, as the strongest two of nine configurations separated reversal from paraphrase at matched overlap (AUROC 0.79-0.90), but only a matched-pair audit reveals the deployment regime. We release the corpus method, harness, and frozen results, and contend that scores gated this way measure the wrong thing. We believe a valid instrument is buildable.
- Abstract（参考訳）: エージェントフレームワークは、テキストブロックを埋め込みコサインの類似性によって比較し、固定されたカットオフを決定する品質ゲートを出荷する。
重複フィルタ、セマンティックキャッシュ、ドリフトガード、応答グレーダゲートは、質問に答えるために配置されます。
しかし、スコアは別の質問に答えている。
我々はこのゲートクラスを測定器として監査する。
これらのゲートがキャッチされる場合、この2つは反対方向に走ることができる。
しばしば、命令の反転は単一の単語の編集であり、合意はしばしば文を言い換える。
その結果、後ろ向きに発射する安全チェックが生まれます。
検査した生産用ドリフトガードは56の有意突然変異の0をキャッチし, 承認項目の1つとして, 「研究薬を留置せよ」>「研究薬を投与せよ」をコサイン0.9608に入力した。
我々は,出荷した5つの操作点を観察し,90個のスレッショルドタスク細胞にまたがる精度は0.700を超えなかった(中期0.525)。
同じ共同設立者も評価を損ねた。
中立に構築されたコーパスは、この共同創設者を継承し、逆の評決を返すことができるが、AUROCは、バランスの取れた2x2設計の下で、同じ9つの構成で0.440-0.815に対して、正確に0.000を18の構成タスクセル(全18では0.040)の13に設定する。
われわれの見出しの主張を捉えた努力で2倍になった。
エンコーダスワップとオーバーラップコンディショニングゲート (0.750 in-sample, 0.533 held-out) が別々に認可されたホールドアウトデータに着陸し、NLIのドロップインはうまくいかなかった。
9つの構成のうち最強の2つは、一致した重複(AUROC 0.79-0.90)でパラフレーズから切り離された逆転(英語版)である。
コーパスメソッド、ハーネス、凍結した結果をリリースし、スコアが間違ったことを測る方法と競合する。
有効な楽器は構築可能であると信じています。
関連論文リスト
- What Output-Equivalence Oracles Miss: An Empirical Study of Equivalence-Invisible Bug Fixes in Quantum Transpilers (Qiskit, tket, Cirq) [0.25489046505746704]
量子コンパイラは出力等価性によって正しいと判断される。
実際にマージされたコンパイラの修正で発生する頻度を測定します。
保守的なフロアは、無条件で同値で見えないチャネルにさえ制限されている。
論文 参考訳（メタデータ） (2026-09-12T09:49:43Z) - IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier [0.0]
監査された18のベンチマークはすべて、広告付きモデルの識別子をスコア付けする。
ゴールドブラインド機能バインディングプレフライトは、どのタスクが到達する前に、ルートが評価契約を実行可能であることを確認する。
信頼性非包括的なファーストパススコアリングルールは、有効性を保ちながらスコアの失敗を維持する。
論文 参考訳（メタデータ） (2026-09-09T17:31:29Z) - Bilevel Coordinated Reflection: A Game-Theoretic Approach to Multi-Agent LLM Systems [40.47928908205563]
マルチエージェントLLMシステムは、一般的にオーケストレータを使用して、労働者のチームのためにタスクを分解し、テキストリフレクションによって改善する。
強い実証結果にもかかわらず、これらのシステムには調整、メモリ改善、外部検証の役割の統一的な説明が欠けている。
我々は,評価のための信頼ゲーティングと,断片的な静止環境に対する保証の再集計を行う。
実験では、これらのオブジェクトを環境条件付きメトリクスでインスタンス化し、予測調整法則とドリフト法則をテストする。
論文 参考訳（メタデータ） (2026-09-02T15:50:10Z) - Measuring the Wrong Thing: Internal Harmfulness Scores Anti-Rank Successful Jailbreaks [8.249133191294703]
内部安全スコアは、テキストが生成される前にプロンプトを判断する。
間違った量を測定するスコアに調整されたフィルターは、いずれにせよ失敗した攻撃に対して偽陽性の予算を費やす。
固定コンテンツ独立計測座標を提供するアクティブアテンション・プロービングを導入する。
論文 参考訳（メタデータ） (2026-08-10T14:05:32Z) - Trajectories That Segment Themselves: Agent-Declared Boundaries as a Training Unit [0.0]
本稿では, 宣言的契約により, エージェントが自身の境界を公開し, 軌跡が生成される, 集合時間意味的自己分離を提案する。
エージェントはその推測を名付けるので、レビュアーは名前で無効にすることができます。
次に、宣言を削除して生き残るものについて尋ねる。カットポイントが仮説ではなく、モデルが行動ブロックを2倍の確率で支配仮説に属性付けする。
コードブラインドアノテータは、ランダム配置が11.5と一致し、機械的なテストを行う。
論文 参考訳（メタデータ） (2026-08-03T14:27:58Z) - Explaining AI-Image Detection: What the Heatmap Actually Shows [65.01025489527173]
私たちは検出器を構築し、その証拠として属性マップを添付します。
私たちは、そのペアがコントロール下の186,527のイメージにもたらすものを測定します。
属性ランキングが存在するかどうかは、検出器が画像に反応するかどうかに依存する。
論文 参考訳（メタデータ） (2026-07-31T16:07:05Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - Adversarial Test-Hardening for AI-Written Code: An Instrument Autopsy and a Pre-Registered Causal Estimate of the Critic Loop [0.0]
メカニカルオラクル下での対向試験硬化ループについて検討した。
テスタモデルはテストを書き、変異テスト名は生き残った欠陥を注入し、Cryticモデルはテストを書き、それらを正確に実行します。
私たちは、すべてのレシートと分析コードの両方のプロトコルをリリースします。
論文 参考訳（メタデータ） (2026-07-25T02:38:07Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Falsifiable Release Gates for Self-Improving Systems [0.0]
本稿では,フェール可能なリリースゲートと,そのようなシステムの構築と検証方法について述べる。
すべての新機能は、出荷前に、指定されたマシン検証可能な受け入れスイートをパスしなければならない。
コントロールリングによってマイニングされる安全クリティカルなプロパティ機能トークンのないエフェクターには、アクションは発生しない。
論文 参考訳（メタデータ） (2026-07-11T06:06:34Z) - What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。
複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文 参考訳（メタデータ） (2026-06-19T06:04:17Z) - Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness [45.148328075418156]
デプロイされた注文エージェントは、階層の固定された分類に分解される。
純粋なスイートは、ロックされたスライス単位のベースラインに対して、すべての変更でCIで動作する。
制御されたレグレッションインジェクションにより、安全でない7つの層に一度に1つの層を分解し、検証する。
論文 参考訳（メタデータ） (2026-06-10T05:55:13Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Controlling Authority Retrieval: A Missing Retrieval Objective for Authority-Governed Knowledge [0.0]
私たちはこれを CAR と呼び、セマンティックアンカー q、すなわち front(cl(A_k(q))) に対して現在アクティブな権限を取得する。
我々は、セキュリティアドバイザリ、SCOTUSオーバーラリングペア、FDA薬物記録の3つの実世界のデータセットを評価した。
GPT-4ominiの実験では、RAGは、パッチが存在するクエリの39%に対して、明示的な"パッチなし"のクレームを生成する。
論文 参考訳（メタデータ） (2026-04-15T23:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。