論文の概要: Can LLM User-Proxies Stand In for Humans in Reliance Measurement? Replicating Rel-A.I. with Simulated Users

• arxiv url: http://arxiv.org/abs/2610.25788v1
• Date: Mon, 19 Oct 2026 04:52:20 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:34:01.801086
• Title: Can LLM User-Proxies Stand In for Humans in Reliance Measurement? Replicating Rel-A.I. with Simulated Users
• Title（参考訳）: 信頼性測定におけるLLMユーザプロキシの活用は可能か? : シミュレーションユーザによるRel-A.I.のリプリケーション
• Abstract要約: サンプル判定を用いて90件の質問と15件のドメイン・バイ・マーカーの信頼性を監査した。 最良のA/Bプロキシは、22.5ポイントの絶対レートエラーと8.3ポイントのドメイン効果エラーを持つ。 このシングルスタディ監査は、人間の効果の大きさや一般的な方向スクリーニングのプロキシ妥当性を確立しない。
• 参考スコア（独自算出の注目度）: 9.063403811544994
• License:
• Abstract: Can language-model user proxies reproduce human reliance on an AI answer across contexts? Published simulated-user studies do not establish validity for this partial-answer decision, and Rel-A.I.'s released human record omits trial-level choices. We audit its 90 printed questions and 15 domain-by-marker reliance rates using sampled decisions and counterbalanced A/B probabilities from open models through 72B parameters. A matched crossover varies the printed agent specialty within each question, separating question content, label averages, and their interaction. Mistral Small's strong-marker math-minus-law label marginal is -0.4 percentage points, yet matching the agent label to the question domain raises reliance by 13.3 points on average across the five domains. The best A/B proxy has 22.5-point absolute-rate error and 8.3-point domain-effect error against the human table. A two-sample independent-binomial human replication has 3.5-point expected domain-effect error under the stated working model. The interaction is model dependent, and inference layout changes identical-prompt probabilities. This single-study audit does not establish proxy validity for human effect sizes or general directional screening.
• Abstract（参考訳）: 言語モデルユーザプロキシは、コンテキストを越えたAI回答への人間の依存を再現できるのか? 公表されたシミュレートされたユーザー研究は、この部分回答決定の妥当性を確立しておらず、Rel-A.I.がリリースした人間記録は、トライアルレベルの選択を省略する。 我々は、サンプル決定と72BパラメータによるオープンモデルからのA/B確率の逆バランスを用いて、90の印刷された質問と15のドメイン・バイ・マーカーの信頼率を監査する。 一致したクロスオーバーは、各質問内で印刷されたエージェントの専門性を変え、質問内容、ラベル平均、およびそれらの相互作用を分離する。 ミストラル・スモールの強力なマーキング・ミナス・ロー・ラベルの限界値は-0.4ポイントであるが、エージェント・ラベルと質問領域とのマッチングは5つのドメインの平均13.3ポイントの信頼を高める。 最良のA/Bプロキシは、22.5ポイントの絶対レートエラーと8.3ポイントのドメイン効果エラーを持つ。 2サンプルの独立-二項の人間の複製は、記述された作業モデルの下で3.5ポイントのドメイン効果エラーを期待する。 相互作用はモデル依存であり、推論レイアウトは同じ確率の確率を変化させる。 このシングルスタディ監査は、人間の効果の大きさや一般的な方向スクリーニングのプロキシ妥当性を確立しない。

関連論文リスト

• A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation [14.867869624585886]
  評価器の構成妥当性を2次元プロファイルとして定式化する。 S と R は独立であり、スカラーの要約がすべての関連する比較を保存することはないことを示す。 これらの結果から, 評価対象構造の変化に対して, 高判定基準は弱い感度で共存できることが示唆された。
  論文  参考訳（メタデータ） (2026-08-25T11:32:54Z)
• Admission Without Answers: Label-Free Certification and Experience Learning for LLM-Based Optimization Modeling [8.467936416935986]
  Admitorは、校正された外部行動証拠に基づいて構築された入場ゲートである。 これは、明確に校正された偽発見ターゲットを中心に設計された最初のラベルなし入場機構である。
  論文  参考訳（メタデータ） (2026-08-16T06:18:54Z)
• Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation [51.56484100374058]
  そこで我々は,Upworthy Research Archiveを用いて,シミュレート・トゥ・リアルな妥当性について検討する。 実際の聴衆の人口統計に基づく10人のパネルと、一般的な読者がクリックする確率をモデルに尋ねるゼロショットベースラインを比較した。
  論文  参考訳（メタデータ） (2026-07-27T17:03:03Z)
• Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
  本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。 楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。 本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
  論文  参考訳（メタデータ） (2026-05-27T03:41:11Z)
• Evaluating Tool-Using Language Agents: Judge Reliability, Propagation Cascades, and Runtime Mitigation in AgentProp-Bench [0.0]
  AgentProp-Benchは4つのドメインに2300のトレースを持つ2,000タスクのベンチマークである。 我々は、判断信頼性を定量化し、エラーの伝播を特徴づけ、実行時の緩和を評価する。 すべてのコード、データ、トレース、および人間のラベルはhttps://github.com/bhaskargurram-ai/agenthallu-bench.orgで公開されている。
  論文  参考訳（メタデータ） (2026-04-17T21:15:35Z)
• Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models [55.94503936470247]
  大規模なAI評価は、審査員を含む、$K$アノテータからのバイナリ判断を集約することにますます依存している。 ほとんどの古典的なメソッドは、アノテータが条件的に独立であると仮定するが、真のラベルは$Yin0,1$であり、この仮定は LLM の審査員によってしばしば違反される。 我々はIsingグラフィカルモデルと潜在因子に基づく依存認識モデルの階層構造を通してラベルアグリゲーションを研究する。
  論文  参考訳（メタデータ） (2026-01-29T21:26:50Z)
• Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
  APIプロバイダは、基本モデルの定量化、透かし、微調整を行い、出力分布を変更することができる。 モデル平等テスト(Model Equality Testing)は,2サンプルテスト問題である。 単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。
  論文  参考訳（メタデータ） (2024-10-26T18:34:53Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。