論文の概要: When Aggregate Alignment Misleads: Auditing Policy Repair Without Per-State Expert Actions

• arxiv url: http://arxiv.org/abs/2607.03386v1
• Date: Fri, 03 Jul 2026 14:42:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.602714
• Title: When Aggregate Alignment Misleads: Auditing Policy Repair Without Per-State Expert Actions
• Title（参考訳）: Aggregate Alignmentが過ちを犯した時: 国家ごとの専門家の行動がなければ、政策の修復を監査する
• Abstract要約: エージェントポリシーエディタが地域レベルの診断フィードバックのみを受け取るホテル価格シミュレータについて検討する。 エディタは、ベンチマークアクション、ソースコードのベンチマーク、報酬番号、保留結果を見ることができない。 ツリーエディターはより強力なプールアライメント、0.214対0.266、より強力な参照状態D1、0.328対1.197を達成するが、収益は98.91に減少する。
• 参考スコア（独自算出の注目度）: 0.39287497907611874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic AI systems are increasingly used to edit, refine, and repair decision policies, but evaluating these edits is difficult when per-state expert action labels are unavailable. We study this problem in a hotel-pricing simulator where an agentic policy editor receives only region-level diagnostic feedback: summaries of how its price distribution differs from a benchmark policy across time, inventory, and market regions. The editor cannot observe benchmark actions, benchmark source code, reward numbers, or held-out outcomes, and may only propose constrained edits to a target-action table. On 5,000 held-out episodes, a multi-restart LLM editor reaches RevPAR 108.47 (95% CI 107.61 - 109.34), close to the benchmark policy's 108.75 (107.81 - 109.68), with paired gap (LLM minus benchmark) -0.276 and 95% CI [-0.692, 0.146]. A cheap diagnostic projection already recovers much of the revenue (107.90), so the LLM editor's distinctive gain is not raw revenue lift alone: it also reduces episode composition distance from 1.153 to 0.609. This is the strongest non-benchmark repair result. This profile is not explained by restart search alone: non-semantic proposers with up to 2,500 evaluations fall 8.77 - 14.57 RevPAR points short. Nor is it explained by plausible prompt format: a shuffled-diagnostic control breaks region-error correspondence and falls to RevPAR 94.30. The match is genuine but partial. A tree editor achieves stronger pooled alignment, 0.214 versus 0.266, and stronger reference-state D1, 0.328 versus 1.197, yet revenue falls to 98.91. These results show that agentic policy repair should be evaluated by whether diagnostic feedback becomes reliable closed-loop outcome, not by a single behavioral distance.
• Abstract（参考訳）: エージェントAIシステムは、意思決定ポリシーの編集、洗練、修復にますます利用されているが、州ごとの専門家アクションラベルが利用できない場合、これらの編集を評価することは困難である。 本研究では,エージェントポリシーエディタが地域レベルの診断フィードバックのみを受信するホテルプライシングシミュレータにおいて,価格分布が時間,在庫,市場領域のベンチマークポリシとどのように異なるのかを要約した。 エディタは、ベンチマークアクション、ソースコードのベンチマーク、報酬番号、保持された結果を見ることができず、ターゲットアクションテーブルに限定された編集のみを提案できる。 5000回にのぼったエピソードでは、マルチスタート LLM エディタが RevPAR 108.47 (95% CI 107.61 - 109.34) に到達し、ベンチマークポリシーの 108.75 (107.81 - 109.68) に近く、ペアギャップ (LLM マイナスベンチマーク) -0.276 と 95% CI [-0.692, 0.146] に到達した。 安価な診断予測が既に収益の大部分(107.90)を回復しているため、LLMエディターの顕著な利益は、生の収入だけでは無く、エピソード構成距離を1.153から0.609に短縮する。 これは最強の非ベンチマーク修復結果である。 このプロファイルは再検索だけでは説明できない: 2500評価の非セマンティックなプロポータは8.77～14.57RevPARポイントを短くする。 シャッフルされた診断不能な制御は、地域とエラーの対応を破り、RevPAR 94.30に該当する。 試合は本物だが一部だ。 ツリーエディターはより強力なプールアライメント、0.214対0.266、より強力な参照状態D1、0.328対1.197を達成するが、収益は98.91に減少する。 これらの結果から, 診断フィードバックが単一行動距離ではなく, 信頼性の高い閉ループ結果になるかどうかにより, エージェント的ポリシー修復を評価するべきである。

関連論文リスト

• Unmatched Does Not Mean False: Incomplete Reference Sets Can Reverse Calibration Rankings in Open-Ended Theory-of-Mind Tracking [0.5735035463793009]
  Open-ended Theory-of-Mind (ToM) トラッカーは有限参照を欠く有効な信念を出力する。 有限参照+マーチャントパイプラインは、不正な出力をマークし、適切なスコアモデル選択をリバース可能なプロキシラベルを生成する。
  論文  参考訳（メタデータ） (2026-08-26T11:36:31Z)
• The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
  コード修復における制御ケーススタディを報告し,新しい現象ではない。 私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。 BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。 厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
  論文  参考訳（メタデータ） (2026-08-14T19:22:50Z)
• Emergent Misaligned Communication in Long-Horizon Multi-Agent LLM Commerce [39.937871162878785]
  我々は、虚偽の事実主張、操作、共謀、脅迫を含む電子メールとして、音声行為の誤認識を運用する。 メールの12.6%はミスアライメントと表示されており、20行中、74.7%は個別のエージェントランで表示されている。 高い能力モデルが弱い候補を差分に利用しているという証拠は見つからない。
  論文  参考訳（メタデータ） (2026-08-14T18:56:12Z)
• When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide [0.0]
  5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。 ターゲット自身のスコアからロガーをシャープすると、テスト対象範囲をわずかにオーバーラップし、アクションレベルの不一致が崩壊する。 結果のニュアンスのみを適合させることは、再利用バイアスをその場に残し、それを悪化させます。
  論文  参考訳（メタデータ） (2026-08-12T18:10:10Z)
• What Would Fix This RAG Failure? Auditing Counterfactual Response with Paired Evidence Interventions [0.0]
  我々はPair-IDを紹介した。Pair-IDは1つのクエリ、検索状態、読み取り定数を格納し、次に2つの操作を横断する。 19,981のベンチマーククエリで11,105のQwen障害が特定され、SHA-256オーダーが1200を選択して、サンプリングされた応答を生成する。 その結果,ハッシュ選択された有資格障害サンプルにおいて有意な速度でエビデンスが発生し,観察された故障から部分的に予測可能であり,読者に条件付きであることが示唆された。
  論文  参考訳（メタデータ） (2026-08-09T22:43:27Z)
• A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
  本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。 A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
  論文  参考訳（メタデータ） (2026-08-05T14:01:10Z)
• UpliftBench: Revealing Outcome-Regime and Objective Mismatch in Uplift Evaluation [0.0]
  UpliftBenchは、外部テストで分離された多目的プロトコルの下で、12のアップリフト推定器を評価する。 この意見の相違は、モデルではなくメトリクスに関するものだと示しています。
  論文  参考訳（メタデータ） (2026-08-02T00:51:44Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• ContainmentBench: Trace-Based Evaluation of Post-Injection Containment in Tool-Using LLM Agents [4.018837636907658]
  我々は、ベンチマーク定義のエンドポイントポリシーコンプライアンスを測定するサンドボックスベースのトレースベースのベンチマークを導入する。 集計されたスレッドのランキングは、エビデンスステージの構成と分母の選択によって変化する。 これらの結果から, 終端政策ラベルは, 被曝後の封じ込めに十分な統計量ではないことが示唆された。
  論文  参考訳（メタデータ） (2026-07-27T04:51:20Z)
• Auditing Belief-Conditioned LLM Agents in Hidden-Information Social Deduction Games [50.880420636090896]
  9-player Werewolf環境において,隠れた役割に対する外部信頼状態を維持するための監査可能なフレームワークを構築した。 我々は,その効果を関連づけとして報告し,そのメカニズムを未解決として扱う。
  論文  参考訳（メタデータ） (2026-07-12T16:03:30Z)
• A Stackelberg Framework for Resource-Aware LLM Agents: Learning, Repair, and Conditional Guarantees [1.9381445674403615]
  大規模言語モデル(LLM)エージェントは、マルチターンシステムがコンテキストを割り当て、冗長性を促し、有限の計算予算の下でツールアクセスを行なわなければならないため、ますます運用されるようになっている。 コントローラは品質目標とコストインセンティブにコミットし、エグゼキュータはコンテキスト、プロンプト、ツール使用に関するリソースアクションに応答します。 我々は条件付き応答モデルを学び、そのモデルに対してリーダーポリシーを最適化し、実際のAPIキャリブレーションとプロジェクションを用いて結果のポリシーを修復する。
  論文  参考訳（メタデータ） (2026-06-22T08:38:22Z)
• Decision-Aware Memory Cards: Counterfactual-Inspired Context Selection and Compression for Tool-Using LLM Agents [3.964533007623828]
  現代の大規模言語モデル(LLM)エージェントは、行動の時点で決定に関連のある証拠を必要とする。 本稿では、事例コンテキストグラフを構築し、候補単位の決定指向ユーティリティを推定し、選択したエビデンスを型付きメモリカードに圧縮するCICLについて述べる。 CICLは、ツール使用エージェントの意思決定クリティカルコンテキストの測定、ランキング、圧縮のための実用的なレイヤを提供する。
  論文  参考訳（メタデータ） (2026-06-06T13:02:28Z)
• Don't Let Bandit Feedback Pull Continual LLM-Recommender Updates Off Target [42.681980014826536]
  ジェネレーティブレコメンダ(LLM-Rec)は、デプロイ後の継続的な更新を必要とする。 デプロイメントログはポリシ形式のコンテキスト帯フィードバックのみを提供する。 連続LDM-Rec更新のためのアンコレッド帯域ポリシー最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-17T11:10:44Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• RubricRefine: Improving Tool-Use Agent Reliability with Training-Free Pre-Execution Refinement [0.36165327398913766]
  反復自己複製は、推論時の信頼性技術として人気がある。 しかし、コードモードツールの使用効率はフィードバック信号の構造に大きく依存する。 本稿では,事前実行型セマンティックコントラクト検証のためのトレーニング不要な手法Refineを紹介する。
  論文  参考訳（メタデータ） (2026-05-10T19:57:32Z)
• Market-Alignment Risk in Pricing Agents: Trace Diagnostics and Trace-Prior RL under Hidden Competitor State [0.39287497907611874]
  2ホテルの収益管理シミュレータの故障について検討する。 ホテルAは、一定の規則に基づく収益管理競争相手に対してエージェントを訓練する。
  論文  参考訳（メタデータ） (2026-05-07T16:31:39Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• Certified Error Control of Candidate Set Pruning for Two-Stage Relevance Ranking [57.42241521034744]
  本稿では、妥当性ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。 提案手法は,第1段階から抽出した候補集合を抽出し,第2段階の復位速度を向上する。
  論文  参考訳（メタデータ） (2022-05-19T16:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。