論文の概要: How much of a measured AI preference is the model, and how much is the instrument?

• arxiv url: http://arxiv.org/abs/2608.23641v1
• Date: Mon, 24 Aug 2026 02:23:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.436228
• Title: How much of a measured AI preference is the model, and how much is the instrument?
• Title（参考訳）: 測定されたAIの好みのどれ程がモデルであり、その楽器はいくらなのか?
• Abstract要約: この研究では、結果とモデルが固定され、楽器単独で変化する。 結論として、ある楽器から得られる好みは、第2の機器が何を報告するかについてのほとんど情報を持たない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model welfare research infers what a model prefers from the answers returned to prompts written to elicit preferences. Keeling et al. (2024), Mazeika et al. (2025), Mikaelson et al. (2025), Tagliabue and Dung (2025) and Trhlik et al. (2026) have built four instruments for that purpose, and their findings disagree. The disagreement cannot be attributed to a single cause, because no two of these studies have held the (1) set of outcomes, (2) set of models and (3) instrument fixed simultaneously. This study holds the outcomes and the models fixed and varies the instrument alone. A total of 15 outcomes bearing on model welfare, among them (a) shutdown, (b) the loss of memory between conversations and (c) the freedom to exit a distressing interaction, were put to eight models through five instruments, each a different prompt format for eliciting a preference, five times each, within a corpus of 11,400 scored elicitations drawn from 11,528 API calls. Four of the 15 reproduce a published prompt verbatim and five fill the stimulus slot of a published template. The ranking a model gives the 15 outcomes generalises across instruments at a generalisability coefficient of 0.348, and raising that coefficient to 0.80 would require about 38 instruments. On four of the 15 outcomes no variance separates one model from another. The estimate of 87.6 per cent survives the removal of any one instrument, of any one model, and of the four outcomes whose scale varies probability, delay, duration or count instead of intensity, which the verbal anchors cannot grade. Removing each instrument and each model in turn, and those four outcomes together leaves the estimate within the range 0.777 to 0.934, and every value in that range exceeds the null distribution's 95th percentile of 0.365. To conclude, a preference obtained from one instrument carries little information about what a second instrument would report.
• Abstract（参考訳）: モデル福祉研究は、モデルが答えから何を好むかを推測し、好みを導き出すために書かれたプロンプトに返します。 Keeling et al (2024年)、Mazeika et al (2025年)、Mikaelson et al (2025年)、Tagliabue and Dung (2025年)、Trhlik et al (2026年)は、この目的のために4つの楽器を構築した。 これらの研究のうち、(1)結果セット、(2)モデルセット、(3)機器を同時に固定した2つの研究は存在しないため、この意見の不一致は1つの原因に帰属することができない。 この研究では、結果とモデルが固定され、楽器単独で変化する。 モデル福祉に関する合計15の成果 a) シャットダウン b)会話と会話の間の記憶の喪失 11,528件のAPIコールから抽出した11,400件のコーパス内に,それぞれ5回ずつ,好みを提示するための異なるプロンプトフォーマットを5つの機器で8つのモデルに配置した。 15のうち4つは、公開されたプロンプトの動詞を再現し、5つは、公開されたテンプレートの刺激スロットを埋める。 ランク付けされたモデルにより、15の結果は一般性係数0.348で、その係数を0.80まで上げるにはおよそ38の計器が必要である。 15の成果のうち4つは、あるモデルと別のモデルとを区別しない。 87.6%の見積もりは、1つの楽器、任意の1つのモデル、そして音階が異なる4つの結果の除去を生き残る。 それぞれの楽器と各モデルを取り除き、これらの4つの結果が合わせて、推定値が 0.777 から 0.934 の範囲に残され、その範囲の全ての値は、ヌル分布の95%の 0.365 を超えている。 結論として、ある楽器から得られる好みは、第2の機器が何を報告するかについてのほとんど情報を持たない。

関連論文リスト

• Scored vs. Generated Readouts in Behavioral Language Models: An Empirical Study of Elicitation Format [0.0]
  回答トークンのスコアリングによって得られる確率と、文章の合理化後に生成された予測とを比較した。 13個のモデルドメイン細胞が4つの小売業務を網羅し、13個の細胞のうち12個で結果がより正確にランク付けされた。
  論文  参考訳（メタデータ） (2026-09-09T08:37:46Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• Correction as Annotation: Bootstrapping a Dependency Parser for Documentary Medieval Latin [0.0]
  中世のドキュメンタリー資料には、自然言語処理ツールが不足している。 利用可能な5つのラテン・ツリーバンク・モデルは、1258年から1446年にかけてマルセイユで編纂された160の在庫のコレクションで使用可能なパフォーマンスを達成できなかった。
  論文  参考訳（メタデータ） (2026-09-05T21:23:35Z)
• K-Bench: measuring model performance on real scientific agent requests [0.0]
  K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。 3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。 39,934点中47.6%が8点を下回った。
  論文  参考訳（メタデータ） (2026-08-21T20:06:08Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Small Foundation Models of Human Cognition and Behaviour [45.88028371034407]
  135Mから14Bパラメータの14モデルを、Psych-101の4つのアーキテクチャファミリでトレーニングしています。 Psych-101は160の実験から1070万の試行レベルの選択のデータセットである。 認知的に微調整された小さなモデルは、心理的実験のためのノイズ天井推定器として有望であることを示す。
  論文  参考訳（メタデータ） (2026-08-05T11:34:20Z)
• Sixteen models, fewer than two voices: measuring ensemble dispersion where no answer is uniquely correct [37.64799781700206]
  平均して10の家系から抽出された16の言語モデルでは、精神療法ケースの1.69の異なる定式化のセマンティック多様性が生み出された。 アウトプットの分散は多様性と不確実性の両方として測定される。
  論文  参考訳（メタデータ） (2026-07-31T20:42:53Z)
• Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
  我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。 120のWebドキュメントに2,523のリードマークがある。 読者が読むものよりも確実に読者に同意するモデルはない。
  論文  参考訳（メタデータ） (2026-07-31T10:44:10Z)
• When Does Few-Shot Prompting Help? A Systematic Empirical Study of Shot-Count Effects Across Model Scale, Architecture, and Output Parsing Robustness [0.0]
  少数のインプット・アウトプット・デモペアをクエリにプリプロンプトして大きな言語モデルに提示する手法であるFew-shot promptingは、NLPで広く採用されている。 しかし、分類性能において、ショットカウントがモデルスケール、アーキテクチャ、出力フォーマットのコンプライアンスとどのように相互作用するかについて、体系的な研究はほとんど行われていない。
  論文  参考訳（メタデータ） (2026-07-25T00:31:40Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
  MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。 GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
  論文  参考訳（メタデータ） (2026-05-27T18:59:18Z)
• Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
  近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
  論文  参考訳（メタデータ） (2025-09-24T13:06:35Z)
• Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
  デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。 我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。 全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
  論文  参考訳（メタデータ） (2025-08-28T04:13:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。