論文の概要: norregel: a preregistered benchmark of dated numeric values in Norwegian law

• arxiv url: http://arxiv.org/abs/2610.29207v1
• Date: Wed, 21 Oct 2026 04:55:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.210139
• Title: norregel: a preregistered benchmark of dated numeric values in Norwegian law
• Title（参考訳）: ノルウェーの法律における日付付き数値の事前登録されたベンチマーク
• Abstract要約: 我々は、ノルウェーの法令、規則、議会の決定における数値の言語モデルを求める。 916項目がLovdataのオープンデータから機械的に抽出された。 俳句4.5を含むいくつかのモデルは、ほとんど解釈不能な回答を与えた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: norregel asks language models for numeric values in Norwegian statutes, regulations and parliamentary decisions (NOK amounts, percentages, multiples of the National Insurance basic amount (G) and age limits), each at a stated date. The 916 items were extracted mechanically from Lovdata's open data, and each carries the dated history of its provision, so an answer can be classed as correct, outdated, wrong or uninterpretable. We report a first and a second preregistered run on the same items. In the first run (five models, listed publicly only after local analysis), H1, that outdated answers are more frequent for values that took effect after a model's cutoff, could not be tested in substance, and H2 and H3 were inconclusive; Opus 5.5 and Sonnet 4.6 answered 46.7% and 40.2% of the 880 primary items correctly. The second run was preregistered and published before any of its calls, and eight models were analysed. Its pooled primary test supported H1 under the preregistered decision rule (d = 17.8 percentage points, 95% interval [7.7, 28.9], p = 0.0001). In the preregistered sensitivity analysis S8, which counts as outdated only the most recent value that differs from the key, d was 3.9 [-3.6, 12.7] (p = 0.1754), an interval that contains 0. H1 was supported in every other preregistered sensitivity analysis, but S8 is the only one that gives both groups one target value, so we do not regard the support for H1 as robust. The share of outdated answers equal to that most recent value (H2) was 56.1% [46.6, 65.0], an interval that contains 0.5, and the pooled test of a lower share correct in Nynorsk than in Bokmål (H3) was inconclusive. Several models, among them Haiku 4.5, gave mostly uninterpretable answers. Items and keys are withheld; item IDs, per-answer classes, code and results are on Zenodo.
• Abstract（参考訳）: ノルレゲルは、ノルウェーの法律、規則、議会の決定(NOK量、比率、国家保険基本額(G)の倍数、年齢制限)における数値の言語モデルを求める。 916項目は、Lovdataのオープンデータから機械的に抽出され、それぞれが提供された日付の履歴を格納しているため、解答は正しい、古い、間違った、解釈できないと分類できる。 同じ項目について,第1および第2の事前登録実行を報告します。 最初の実行では、5つのモデル(ローカル分析後にのみ公表された)、H1という古い解答は、モデルがカットされた後に有効になった値に対してより頻繁であり、H2とH3は不確定であり、Opus 5.5とSonnet 4.6は880の主要項目の46.7%と40.2%を正しく答えた。 2回目は事前に登録され、全ての呼び出しの前に発行され、8つのモデルが分析された。 プールされた一次試験は、事前登録された決定規則の下でH1を支持した(d = 17.8パーセント、95%間隔 [7.7, 28.9], p = 0.0001)。 予め登録された感度分析S8では、鍵と異なる最新の値のみ古いものと見なされ、dは3.9[-3.6, 12.7] (p = 0.1754) であり、0。 H1 は他の全ての事前登録感度解析においてサポートされているが、S8 は両群に目標値を与える唯一のものであるため、H1 のサポートは堅牢であると見なすことはできない。 古い回答のシェアは56.1% [46.6, 65.0]であり、0.5を含む区間であり、Bokmål (H3) よりも低いシェアのプールテストは不確定であった。 俳句4.5を含むいくつかのモデルは、ほとんど解釈不能な回答を与えた。 アイテムとキーは保持されない。アイテムID、回答単位のクラス、コードと結果はZenodoにある。

関連論文リスト

• Twenty Days Later: A Pre-Registered Test of History-Based Forecasts of Brand Mentions in Gemini Answers [0.0]
  大きな言語モデルの名前のブランドは、行動するのに十分な時間を持っている場合にのみ有用である。 これを事前登録されたレプリケーションでテストします。
  論文  参考訳（メタデータ） (2026-10-14T05:30:43Z)
• Agreement versus Softmax under Spatial Disambiguation [0.0]
  ScanRefer 複数のクエリは空間的曖昧さを必要とする。 完全な ScanRefer 検証セット (9,508 クエリ; 接地型提案付き GeoClassifier ) では、オブジェクトレベルの Softmax も同様に Unique と Multiple で誤校正されている。 ほとんどの多重エラーは同級不一致(45.6%)、幾何ミス(H2)は59.6%、誤分類(H1)は16.7%である。
  論文  参考訳（メタデータ） (2026-10-09T18:23:25Z)
• Calibrated Answers About Randomized Trials From a 4-Billion-Parameter Open Model: A Registered Test and a License-Clean Release [0.0]
  Fiorillo v0.5は、各回答の確率で型付き質問に答えるオープンモデルである。 その主要な専門家はランダム化裁判の論文を読み、6,144個のトークンにカットし、介入が著しく増加したかどうかを答える。
  論文  参考訳（メタデータ） (2026-10-04T15:09:39Z)
• PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
  PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。 各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。 我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
  論文  参考訳（メタデータ） (2026-08-24T17:13:25Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• Adversarial Test-Hardening for AI-Written Code: An Instrument Autopsy and a Pre-Registered Causal Estimate of the Critic Loop [0.0]
  メカニカルオラクル下での対向試験硬化ループについて検討した。 テスタモデルはテストを書き、変異テスト名は生き残った欠陥を注入し、Cryticモデルはテストを書き、それらを正確に実行します。 私たちは、すべてのレシートと分析コードの両方のプロトコルをリリースします。
  論文  参考訳（メタデータ） (2026-07-25T02:38:07Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
  近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
  論文  参考訳（メタデータ） (2025-09-24T13:06:35Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。