論文の概要: Calibrated Answers About Randomized Trials From a 4-Billion-Parameter Open Model: A Registered Test and a License-Clean Release
- arxiv url: http://arxiv.org/abs/2610.07019v1
- Date: Sun, 04 Oct 2026 15:09:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.510603
- Title: Calibrated Answers About Randomized Trials From a 4-Billion-Parameter Open Model: A Registered Test and a License-Clean Release
- Title（参考訳）: 4-Billion-Parameterオープンモデルによるランダム化トライアルに関するキャリブレーション回答:登録テストとライセンスクリーンリリース
- Abstract要約: Fiorillo v0.5は、各回答の確率で型付き質問に答えるオープンモデルである。
その主要な専門家はランダム化裁判の論文を読み、6,144個のトークンにカットし、介入が著しく増加したかどうかを答える。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fiorillo v0.5 is an open model that answers typed questions with a probability for each answer. Its main specialist reads a randomized trial's article, cut to 6,144 tokens, and answers whether an intervention significantly increased, significantly decreased or did not significantly change an outcome against a comparator (Evidence Inference 2.0, EI). It is Qwen3-4B-Base with low-rank adapters and a decision head, fine-tuned for EI only on the 1,431 of 2,657 training articles whose own license allows reuse. Four criteria registered on the Open Science Framework before this version's test predictions decided its release, the second bar judged on EI's test split, whose labels are public. On that split (1,218 prompts in 333 articles), the expected calibration error was 0.0168 against a limit of 0.05; log loss was below the prior's by 0.8603 (95 percent interval 0.8104 to 0.9078) and below that of Gemma 4 31B-it, reading the same input, by 0.1829 (0.1164 to 0.2598); and macro-F1 was 0.9248 against 0.8668, so all four criteria passed. Training the same recipe on clean articles alone cost 0.0123 in accuracy (0.0034 to 0.0207; descriptive). With no article, macro-F1 fell to 0.4384; the title alone raised it by 0.0939 (0.0655 to 0.1234), which a title stating the result or recall of the trial could explain; exchanging intervention and comparator reversed 0.6652 of its direction answers. Run as released, the files matched the evaluated predictions within limits set in advance. The release is under the Apache License 2.0 (digital object identifier 10.57967/hf/10722).
- Abstract（参考訳）: Fiorillo v0.5は、各回答の確率で型付き質問に答えるオープンモデルである。
その主要な専門家はランダム化裁判の論文を読み、6,144トークンにカットし、介入が大幅に増加、減少、あるいはコンパレータに対する結果が著しく変化しなかったかどうかを答える(エビデンス推論 2.0, EI)。
低ランクアダプタと決定ヘッドを備えたQwen3-4B-Baseで、EI用に微調整されている。
このバージョンのテスト予測がリリースを決定する前に、Open Science Frameworkに登録された4つの基準は、EIのテスト分割に基づいて判断された2番目のバーであり、そのラベルはパブリックである。
この分割(333条1,218通)では、キャリブレーション誤差は0.0168対0.05、ログ損失は0.8603(95%間隔0.8104〜0.9078)、Gemma 4 31B-it以下で0.1829(0.1164〜0.2598)、マクロF1は0.8668に対して0.9248であった。
クリーンな記事だけで同じレシピをトレーニングするには、0.0123の正確さ(0.0034から0.0207;記述的)が費やされる。
記事がなければ、マクロF1は0.4384に低下し、タイトルだけで0.0939(0.0655から0.1234)まで上昇した。
ファイルはリリース時に実行され、事前に設定された制限内で評価された予測と一致した。
このリリースはApache License 2.0 (デジタルオブジェクト識別子10.57967/hf/10722)の下にある。
関連論文リスト
- CLM-as-a-Judge: Evaluating an Open Contrastive Decision Model on Public Judge Benchmarks [0.010480658740597679]
オープンコントラスト決定モデルは、ハード・パブリック・ベンチマークの審査員としてほぼ偶然である。
矛盾は+0.401まで過信されるが、保留された校正アイテムに1つのプールされた温度が適合し、予想される校正誤差は0.062まで修復される。
しかし、自信に満ちたカスケードは0.923から1.000のアイテムを登録済みの0.97保持バーの強い判事にエスカレートする。
論文 参考訳（メタデータ） (2026-10-05T18:01:37Z) - Decide, Don't Generate: Competitive Dimensional ABSA with Jev's Typed Decisions [26.964814392624813]
競合次元ABSAはテキスト生成を必要としないことを示す。
私たちはJevというフリーズモデルを使い、型付けされた質問に古風なスコア、ラベルの確率、イエス/ノーの判断で答えます。
論文 参考訳（メタデータ） (2026-09-28T14:37:08Z) - Calibration, Not Answer Selection: Distilling Internal Confidence in Reasoning Models [34.46304985255693]
言語化された自信は、モデルが答えにコミットする意思があるかを追跡します。
実際の質問応答では、思考の連鎖と答えの間の隠れ状態に対する線形プローブは、かなりよく校正されている。
Probe-SDは、モデル自身のサンプルトレースをプローブでスコアし、各トレース状態の信頼性を上書きし、同じファミリーのベースチェックポイントを微調整する。
論文 参考訳（メタデータ） (2026-09-27T06:52:17Z) - JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。
ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。
Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
論文 参考訳（メタデータ） (2026-09-25T11:32:19Z) - Beyond Final-Token Classification: Heterogeneous Readouts for Evidence-Grounded Suicide Risk Detection [10.766937373263204]
出力実現から意味的検証を分離するヘテロジニアス・リードアウト分解(HRD)を導入する。
HRDは、通常リスクの4つの潜伏スコアを比較し、ほとんどの要因に対してトークンマージンを保持し、一方の共有潜伏プローブを通して7つのラベルをルーティングする。
これらの結果は, セマンティック表現のみではなく, 解答境界を測定可能な誤差源として同定する。
論文 参考訳（メタデータ） (2026-09-19T05:01:17Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳（メタデータ） (2026-09-02T10:30:05Z) - PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
論文 参考訳（メタデータ） (2026-08-24T17:13:25Z) - When Single-Dataset Conclusions Fail: A 45-Task Study of Threshold Tuning and Resampling for Imbalanced Classification [0.0]
クラス不均衡処理は、単一のベンチマークデータセットで定期的に評価される。
リークフリーなネスト型クロスバリデーションプロトコルの下では、デフォルト0.5しきい値のプレーンランダムフォレストがF1 = 0.861 +/-0.021に達する。
閾値調整の利点は、不均衡比において非単調である。
論文 参考訳（メタデータ） (2026-08-17T05:58:33Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳（メタデータ） (2026-08-08T13:22:14Z) - Adversarial Test-Hardening for AI-Written Code: An Instrument Autopsy and a Pre-Registered Causal Estimate of the Critic Loop [0.0]
メカニカルオラクル下での対向試験硬化ループについて検討した。
テスタモデルはテストを書き、変異テスト名は生き残った欠陥を注入し、Cryticモデルはテストを書き、それらを正確に実行します。
私たちは、すべてのレシートと分析コードの両方のプロトコルをリリースします。
論文 参考訳（メタデータ） (2026-07-25T02:38:07Z) - Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。
楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。
本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
論文 参考訳（メタデータ） (2026-05-27T03:41:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。