論文の概要: Replication Without Persistence in Hosted LLMs: Measurement Sensitivity in Action-Time Belief Evaluation

• arxiv url: http://arxiv.org/abs/2609.22478v1
• Date: Fri, 18 Sep 2026 18:42:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.408065
• Title: Replication Without Persistence in Hosted LLMs: Measurement Sensitivity in Action-Time Belief Evaluation
• Title（参考訳）: ホスト型LLMにおける持続性のない複製:行動時間信頼度評価における感度の測定
• Abstract要約: 評価と推論の設定が同一の識別子(測定感度)で再構築されるとエンドポイントが変化するかどうか(レプリケーション)、そして1つの共通機器(パースペンス)で検査された識別子間で検出が持続するかどうか(パースペンス)、という3つの検証質問を分離する。 我々は、これらの質問をRegent Chess(シーケンシャルな環境)で研究し、隠れた、変更可能な状態が正確に記録される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Behavioural evaluations of hosted language models can vary because the evaluated service, the measurement instrument, or both differ across runs. We separate three validation questions: whether a prior finding recurs on fresh data under its historical configuration (replication), whether the endpoint changes when the evaluation-and-inference configuration is rebuilt under the same identifier (measurement sensitivity), and whether the finding persists across subsequently tested identifiers under one common instrument (persistence). We study these questions in Regent Chess, a sequential environment in which a hidden, mutable state is recorded exactly, allowing stated beliefs to be scored against ground truth at action time; positive endpoint values mean worse performance than a matched-uniform comparator. The previously reported Gemini 3.1 Flash-Lite deficit recurs on fresh games under its historical configuration (+0.0530, 95% CI [+0.0329,+0.0714]). In a back-to-back same-day H/R comparison under the same public identifier, the model-minus-uniform endpoint is 0.0429 lower under the rebuilt configuration (95% CI for the H-minus-R contrast [+0.0182,+0.0667]); all six configuration components vary jointly, so no component is isolated. Under rebuilt R, the prospectively frozen, interleaved same-window 4K comparison reverses sign between Gemini 3.1 and Gemini 3.7, identifiers that differ in release and product tier; additional descriptive and exploratory cells show the same directional pattern. Any additional serving-period contribution remains unresolved (-0.0166, [-0.0483,+0.0157]). Replication, measurement sensitivity, and persistence can therefore yield different conclusions within one evaluation, motivating explicit indexing of hosted-model behavioural claims by tested identifier, serving period, measurement instrument, and inference configuration.
• Abstract（参考訳）: ホスト言語モデルの振る舞い評価は、評価されたサービス、測定機器、あるいは両方が実行毎に異なるため、異なる可能性がある。 評価と推論の設定が同一の識別子(測定感度)で再構築されるとエンドポイントが変化するかどうか、そして1つの共通機器(パースペンス)で検査された識別子間で検出が持続するかどうか、の3つの検証質問を分離する。 我々はこれらの疑問をRegent Chessで研究する。これは、隠れた可変状態が正確に記録され、アクション時において地上の真理に対して主張された信念を採点することができる。 以前報告されたGemini 3.1 Flash-Liteの欠陥は、その歴史的構成(+0.0530, 95% CI [+0.0329,+0.0714])の下で新しいゲームに再帰する。 同じ公開識別子下でのバック・ツー・バックのH/R比較では、モデル・ミナス・ユニフォームエンドポイントは再構成された構成より0.0429低い(H-ミナス・Rコントラスト[+0.0182,+0.0667]の95%CI)。 再建されたRの下では、前向きに凍結されたインターリーブされた同ウィンドウの4K比較は、ジェミニ3.1とジェミニ3.7の符号を逆転させる。 追加の有効期間の貢献は未解決のままである(-0.0166, [-0.0483,+0.0157])。 したがって、複製、測定感度、持続性は、1つの評価内で異なる結論を導き、テストされた識別子、サービス期間、測定機器、推論構成によるホストモデル行動クレームの明示的なインデックス付けを動機付けることができる。

関連論文リスト

• Not All Relations Are Equal: Relation-Balanced and Calibrated Graph Learning for Provenance-Based Intrusion Detection [69.06648810271712]
  本稿では,関係バランスの取れたグラフ学習を用いた教師なしフレームワークRECALについて述べる。 3つのDARPA E3データセットにおいて、RECALはF1スコアの99.99%、99.93%、99.99%を達成し、各データセットでそれぞれ0.88、0.82、0.42で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-15T00:31:01Z)
• Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation [40.2978746802106]
  LLM審査員は、きめ細かいルックスチェックリストに対する反応をますます評価している。 現在のメソッドは通常、それぞれを別々の推論コールで評価する。 その結果,どのルーリックが同一であるかによって,1つのルーリックシフトの判定が行われることがわかった。 我々は、4つの制御された操作を通して干渉を探索する測定フレームワークを開発した。
  論文  参考訳（メタデータ） (2026-08-05T03:35:29Z)
• Leakage-Robust Evaluation and Data-Scale Sensitivity of Attention-Enhanced Multi-Task Learning for Joint Fault Diagnosis and Remaining Useful Life Estimation [0.0]
  マルチタスクディープラーニングモデルは、スライディングウィンドウシーケンスがトレーニングとテストセットにどのように分割されるかによって影響を受ける可能性がある。 ナイーブな分割は、真の20-60%から99.9%に分類精度を低下させる可能性がある。 チャンクベース・リーク監査分割プロトコルを導入し,5種の種子,片方向ANOVA,Tukey HSDテストを用いて全モデルを評価した。
  論文  参考訳（メタデータ） (2026-07-17T20:33:36Z)
• Agent Step Value: Auditing Evaluator-Channel Reversals in Black-Box Agent Traces [2.4293637634506404]
  評価器由来のステップ報酬がスコアリングチャネル間でプールされたり比較されたりした場合、それらのサインは輸送可能なものとして扱われる。 エージェントステップ値(ASV)をチャネルインデクシングされたターゲットマージンゲインとして定義し、チャネル間相互作用の欠如を識別する。
  論文  参考訳（メタデータ） (2026-07-05T17:27:56Z)
• Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
  本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。 楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。 本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
  論文  参考訳（メタデータ） (2026-05-27T03:41:11Z)
• IntRec: Intent-based Retrieval with Contrastive Refinement [42.24292951933703]
  IntRecは対話型オブジェクト検索フレームワークで、ユーザーのフィードバックに基づいて予測を洗練する。 中心となるIntent State(IS)は、正のアンカー(確認されたキュー)と負の制約(拒絶された仮説)のための二重メモリセットを維持する。
  論文  参考訳（メタデータ） (2026-02-19T18:50:53Z)
• ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces [3.151184728006369]
  本稿では,聴覚条件下でのマルチモデルオーケストレーションのための測定フレームワークACARを提案する。 ACARは、N=3プローブサンプルから計算した自己整合分散(sigma)を使用して、単一モデル、2モデル、3モデル実行モードでタスクをルーティングする。 我々は4つのベンチマークにまたがる1,510のタスクに対してACARを評価し、7,550以上の監査可能な実行を生成した。
  論文  参考訳（メタデータ） (2026-02-06T23:27:17Z)
• SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
  SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。 ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。 安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
  論文  参考訳（メタデータ） (2026-01-19T23:37:10Z)
• A New HOPE: Domain-agnostic Automatic Evaluation of Text Chunking [44.47350338664039]
  文書チャンキングは検索強化世代(RAG)に根本的に影響する 現在、さまざまなチャンキングメソッドの影響を分析するためのフレームワークはありません。 本稿では,チャンキングプロセスの本質的特徴を3段階に定義する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-04T16:22:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。