論文の概要: Outdated numeric values from Norwegian statutes and regulations in a further-trained model and its base model: a preregistered paired comparison of Borealis 2 and Gemma 4

• arxiv url: http://arxiv.org/abs/2611.02334v2
• Date: Tue, 03 Nov 2026 05:40:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.548978
• Title: Outdated numeric values from Norwegian statutes and regulations in a further-trained model and its base model: a preregistered paired comparison of Borealis 2 and Gemma 4
• Title（参考訳）: ノルウェーの法規と規則からの古い数値と、さらに訓練されたモデルとその基本モデル:Borealis 2とGemma 4の事前登録ペア比較
• Abstract要約: 2つのリリースされた言語モデルがノルウェーの法令や規則から時代遅れの数値を与える頻度を比較する。 両モデルが解釈可能な回答を下した503項目中411項目では,Borealis 2は10項目,Gemma 4は11項目で時代遅れとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We compare how often two released language models give outdated numeric values from Norwegian statutes and regulations: NbAiLab/borealis2-26b-a4b-preview (Borealis 2), which the National Library of Norway further trained from google/gemma-4-26B-A4B-it (Gemma 4), and Gemma 4 itself. The study was preregistered (doi:10.5281/zenodo.23858965) and uses the closed norregel benchmark, scored deterministically against a value history. On the 411 of 503 primary items where both models gave an interpretable answer, Borealis 2 alone was outdated on 10 items and Gemma 4 alone on 11 (d = -0.2 percentage points, 95% cluster bootstrap interval [-2.7, +2.5], exact one-sided McNemar p = 0.668). By the preregistered rule this is no effect of interest: the whole interval lies within the smallest effect of interest of +/-10 percentage points. Among the secondary measures, only the share of answers giving a value that took effect after the question date differs after Holm correction; Gemma 4 gave such answers more often. An exploratory comparison of two smaller Borealis models had no discordant pairs and is not informative. The design compares released models and does not isolate the effect of any part of their training.
• Abstract（参考訳）: ノルウェー国立図書館がgoogle/gemma-4-26B-A4B-it(Gemma 4)とGemma 4自体からさらに訓練したNbAiLab/borealis2-26b-a4b-preview(Borealis 2)を比較した。 この研究は事前登録された(doi:10.5281/zenodo.23858965)。 両モデルが解釈可能な回答を下した503項目のうち411項目では、ボレイリス2単独は10項目で時代遅れとなり、ジェマ4単独は11項目(d = -0.2パーセンテージポイント、95%クラスタブートストラップ間隔 [-2.7, +2.5]、正確な片面マクネマールp = 0.668)であった。 事前登録された規則では、これは利害の影響ではなく、全区間は+/-10ポイントの利害の最小効果の範囲内にある。 第二の尺度の中で、質問日後に有効になった回答のシェアはホルムの修正後に異なり、Gemma 4はそのような回答を頻繁に与えた。 2つの小さなボレイリス模型の探索的な比較は、不一致のペアを持たず、情報的ではない。 デザインはリリースされたモデルと比較し、トレーニングのどの部分の影響も分離しない。

関連論文リスト

• Similar Models, Broken Odds: Where Luce's Axiom Fails in Chatbot Arena [0.0]
  アリーナはブラッドリー・テリーモデルで言語モデルをランク付けしている。 180万票のアレナでは、ブラッドリー・テリーが予測した1つのモデルの1.37倍の得票率である。
  論文  参考訳（メタデータ） (2026-10-13T19:33:25Z)
• DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation [50.43969311607643]
  DMAD, Distribution Matching as Adversarial Distillationを導入し, 分布マッチングを分類として再放送する。 判別器では,これらの損失が分布マッチングの基礎となるDMDを回復することを示す。 DMADはFréchet Inception Distance (FID) 1.04、ImageNet-64x64 14.47、COCO-10Kの4ステップSDXL、VBenchの合計スコアは85.15、Wan2.1-T2V-14Bである。
  論文  参考訳（メタデータ） (2026-10-01T17:59:01Z)
• The Undetected Damage of Quantization on Retrieval and How to Fix It [51.02977749156532]
  分類精度を保った量子モデルでは,トップ1検索結果の14ドルから46%の値がまだ変化していることを示す。 この失敗を2つの上位モデルスコア間のギャップに結び付け、そのギャップを使用して、定量化された回答をいつ信頼するかを決めます。 この差が最大の丸め誤差の2倍を超える場合にのみ、トップ1結果が量子化を継続することが保証されていることを示す。
  論文  参考訳（メタデータ） (2026-09-21T09:26:35Z)
• Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
  我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。 120のWebドキュメントに2,523のリードマークがある。 読者が読むものよりも確実に読者に同意するモデルはない。
  論文  参考訳（メタデータ） (2026-07-31T10:44:10Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• AMEL: Accumulated Message Effects on LLM Judgments [0.0]
  先行会話履歴の極性がその後の判断に偏っているかどうかを問う。 主に肯定的あるいは否定的な評価で飽和した同一の検査項目を分離または後史で提示する。 この効果は、モデルが実際にベースラインで不確実であるアイテムに集中する。
  論文  参考訳（メタデータ） (2026-05-21T16:51:04Z)
• Gemma 4, Phi-4, and Qwen3: Accuracy-Efficiency Tradeoffs in Dense and MoE Reasoning Language Models [6.396911723204044]
  Mixture-of-experts (MoE)言語モデルは、高密度モデルよりも優れた品質と効率のトレードオフをもたらすことがしばしば期待されている。 そこで本研究では,高密度および高密度なMoE設計にまたがる7つの推論指向命令調整モデルのベンチマークを示す。
  論文  参考訳（メタデータ） (2026-04-08T12:50:52Z)
• Independence Tests for Language Models [47.0749292650885]
  2つのモデルの重みを考えると、独立してトレーニングされたかどうかテストできますか? 制約付きと制約なしの2つの設定を検討します。 本稿では,2つのモデル間の隠れアクティベーションに一致し,逆変換やモデルアーキテクチャの変更に対して堅牢な新しいテストを提案する。
  論文  参考訳（メタデータ） (2025-02-17T20:01:08Z)
• QLoRA: Efficient Finetuning of Quantized LLMs [66.58009990713134]
  我々は,48GBのGPU上で65Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する,効率的な微調整手法QLoRAを提案する。 QLoRAは凍結した4ビット量子化事前学習言語モデルを通して低ランクアダプタ(LoRA)に逆伝搬する 最高のモデルファミリであるGuanacoは、Vicunaベンチマークでリリースされたすべてのモデルより優れています。
  論文  参考訳（メタデータ） (2023-05-23T17:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。