論文の概要: A Diagnostic Framework and Multi-Evaluator Audit of Evaluator-Driven Preference Dynamics in Self-Adapting LLM Agents

• arxiv url: http://arxiv.org/abs/2606.29719v1
• Date: Mon, 29 Jun 2026 02:55:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.0253
• Title: A Diagnostic Framework and Multi-Evaluator Audit of Evaluator-Driven Preference Dynamics in Self-Adapting LLM Agents
• Title（参考訳）: 自己適応型LDMエージェントにおける評価器駆動型選好ダイナミクスの診断フレームワークと多面評価器による評価
• Abstract要約: MPCI(Multimodal Preference Collapse Index)、評価器付き結合行列(evaluator-indexed coupling matrix)、Jensen-Shannon-rho(JSD)を8つの条件で適用した。 4つの条件は強い結合を示す(N=76, GPT-4o June, qwenrho-plus N=30, symmetric LR, DeepSeek self-eval)。 5月から6月にかけてのGPT-4oドリフトは最も有益な測定であり、診断装置が自身の不安定性を検出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Measurements of proprietary LLM evaluators can become invalid within weeks -- we document one case and provide the diagnostic framework to detect it. We introduce EPC -- comprising the Multimodal Preference Collapse Index (MPCI), evaluator-indexed coupling matrix, and Jensen-Shannon divergence (JSD) -- and apply it across eight experimental conditions (N=112 main + N=10 ablation = 122 unique repetitions, all reported). Coupling coefficients range from 0.00 to 1.18 across per-condition means (CV approx 0.9, n=8 conditions). Four conditions show strong coupling (N=36; GPT-4o May, GPT-4o-mini, Qwen3.7-plus, DashScope 30r); four collapse to near-zero (N=76; GPT-4o June, qwen-plus N=30, symmetric LR, DeepSeek self-eval). The May-to-June GPT-4o drift -- an N=8 re-replication inverting the study's conclusion -- is the most informative measurement: a diagnostic instrument detecting its own instability demonstrates the fragility it was designed to measure. Self-evaluation (97% zero, JSD=0.003) consistently collapses, though floor effects are possible. Output-format confound analysis finds per-strategy aggregate rho=0.89 but per-instance rho=0.219 (p=0.093); PCI reported as preference-convergence metric. We release EPC with all data. The finding is not any single coupling magnitude but the pattern of version-conditional instability that makes single-snapshot evaluator studies unreliable.
• Abstract（参考訳）: プロプライエタリなLCM評価器の測定は数週間以内に無効になる可能性がある -- 1つのケースを文書化し、それを検出するための診断フレームワークを提供する。我々は、マルチモーダル参照照合指数(MPCI)、評価器付き結合行列(Evaluator-indexed coupling matrix)、Jensen-Shannon divergence(JSD)を含むEPCを導入し、8つの実験条件(N=112 main + N=10 ablation = 122 unique repetitions, all report)で適用する。 カップリング係数は、条件毎に0.00から1.18の範囲(CV近似0.9, n=8条件)である。 4つの条件は強い結合を示す(N=36、GPT-4o May、GPT-4o-mini、Qwen3.7-plus、DashScope 30r、N=76、GPT-4o June、qwen-plus N=30、対称LR、DeepSeek self-eval)。 5月から6月にかけてのGPT-4oドリフトは、研究の結論を覆すN=8の再現であり、最も有益な測定方法だ。 自己評価(97%0, JSD=0.003)は常に崩壊するが、床効果は可能である。 Output-format confound analysis founds per-strategy aggregate rho=0.89 but per-instance rho=0.219 (p=0.093); PCI reported as preference-convergence metric。 全データでEPCをリリースします。 この発見は、単一の結合度ではなく、単発評価器の研究を信頼できないものにするバージョン条件不安定性のパターンである。

関連論文リスト

• Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
  推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。 トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。 重量のみの量子化下での活性化ステアリングを系統的に研究する。
  論文  参考訳（メタデータ） (2026-09-06T08:41:42Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• A Few Neurons Reveal When LLMs Misuse Tools: Sparse Detection and Selective Steering for Reliable Tool Use [28.57781785937644]
  PRISMS(Probing Representations In Support of Monitoring and Steering)は,スパース検出とアクティベーションの間に障害特異的ニューロンベースを共有するクローズループフレームワークである。 6つのモデル全体で、PRISMSはプールされたオーバーコール率を80%削減し、ツール要求の精度を14.2%向上させた。
  論文  参考訳（メタデータ） (2026-07-31T19:03:44Z)
• KAISEN: Reproducible Subgroup Fairness Auditing for Clinical Risk Models [0.0]
  KAISENは、サブグループの成層、不均質の測定、メカニズム診断、ポストホック緩和、ドリフトモニタリングを含む5段階の監査パイプラインである。 すべての結果は、既知の根拠の真実と共に合成され、臨床的妥当性が確立されない。
  論文  参考訳（メタデータ） (2026-07-30T17:57:18Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• Multimodal Evaluator Preference Collapse: Cross-Modal Contagion in Self-Evolving Agents [1.0152838128195467]
  EPC(Evaluator Preference Collapse)はマルチモーダル環境で劇的に増幅されていることを示す。 次に、クロスモーダル感染と呼ばれる新しい現象を示す。 我々は、モデル間評価器アーキテクチャを優先ドリフトの主なリスク要因とみなす。
  論文  参考訳（メタデータ） (2026-06-15T13:18:20Z)
• Reliable Extraction of Clinical Follow-Up Instructions: A Hybrid Neural-Symbolic Pipeline [43.0484058393522]
  我々は,ニューラルシンボリックなハイブリッドパイプラインを直接生成に対して試験する。 本研究は,2000点の合成外用コーパスについて検討した。
  論文  参考訳（メタデータ） (2026-05-26T05:14:33Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Decodable but Not Corrected by Fixed Residual-Stream Linear Steering: Evidence from Medical LLM Failure Regimes [4.738949927143789]
  隠れ状態における線形デオード可能な故障信号が、それらの故障を修正するために活用できるかどうかを検討する。 固定されたリニアステアリングファミリーが修正に利用できない場合でも、デオード可能な故障構造がポストジェネレーションの信頼性評価をサポートすることがわかった。
  論文  参考訳（メタデータ） (2026-05-07T05:58:38Z)
• Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score [14.579552536669217]
  一般データ保護規制法に準拠するためには、ビジョンランゲージモデル(VLM)のアンラーニングが必要である。 マルチモーダル・アンラーニングにおける信頼性の最初の研究について述べる。 統一品質スコア(Unified Quality Score, UQS)は, 各計量のスピアマン相関と距離の関係から得られる重みを持つ計量である。
  論文  参考訳（メタデータ） (2026-05-04T04:13:00Z)
• High-Dimensional Gaussian Mean Estimation under Realizable Contamination [43.56842719227285]
  本研究では,$mathbbRd$における同一性共分散を持つガウス分布の平均推定を,$$$-contaminationモデルと呼ばれるデータスキームの欠如の下で行う。 このモデルでは、相手は 0 から $$ の間の関数 $r(x)$ を選択でき、各サンプル $x$ は確率 $r(x)$ で失われる。
  論文  参考訳（メタデータ） (2026-03-17T17:04:18Z)
• Detecting Unobserved Confounders: A Kernelized Regression Approach [46.52607207396279]
  Kernel Regression Confounder Detection (KRCD) は、単一環境下での非線形観測データにおける観測不能なコンバウンディングを検出する新しい方法である。 ゼロからの有意な偏差が観測不能な共起を示すテスト統計学。 合成ベンチマークとツインズデータセットの実験は、KRCDが既存のベースラインを上回るだけでなく、計算効率も優れていることを示した。
  論文  参考訳（メタデータ） (2026-01-01T04:26:02Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Maximizing the nondemolition nature of a quantum measurement via an adaptive readout protocol [28.661156827387043]
  量子エラー補正(QEC)は、フォールトトレラント量子コンピューティングの非侵襲的な測定を必要とする。 正の結果の後,$D-1$残余部分空間のみを探索する$D-$dimensionalシステムのためのプロトコルを開発する。 この戦略は、ハミルトニアンを摂動しない負の反則測定結果に依存することにより、測定誘起誤差を最小化する。
  論文  参考訳（メタデータ） (2025-11-14T05:52:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。