論文の概要: How many LLM-labelled rows does a decision encoder need, and how wrong can the labels be?
- arxiv url: http://arxiv.org/abs/2611.16498v1
- Date: Thu, 12 Nov 2026 09:02:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.407056
- Title: How many LLM-labelled rows does a decision encoder need, and how wrong can the labels be?
- Title(参考訳): LLM-labelled rowsはいくつ必要か?
- Abstract要約: ラヤの19個の細管(ModernBERT-large)を2,818個のロープールのネストしたサブセット上で実行し、同じジェネレータから1,065個の保持アイテムでスコア付けします。
精度は微調整前の69.4%から74.3%まで上昇し、5%、84.8%、50%、86.9%となっている。
10%の対称ラベルノイズを持つ単一ランは、検出可能な変化(-0.2点、95%間隔-1.7から+1.4)を示さず、20%は3.4点、40%は8.7点である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A decision encoder such as Laya reads a question with named options (for example, which department should handle a ticket) and a text, and picks an option. It reads both in one forward pass and returns a probability for every option, without writing any text. We ask how many LLM-written training rows such an encoder needs and how wrong those labels may be. We ran 19 fine-tunes of Laya (ModernBERT-large) on nested subsets of a 2,818-row pool and scored them on 1,065 held-out items from the same generator, so every test item is in-distribution and no out-of-family test was run. Accuracy rises from 69.4% before fine-tuning to 74.3% with 5% of the rows, 84.8% with 50% and 86.9% with all rows. The curve flattens, and a saturating fit with bootstrap intervals cannot pin down its plateau. Seed spread at 20% of the rows (s.d. 1.6 points) exceeds some of the steps between sizes. Giving small subsets as many updates as the full pool gains 1.9 points at 5% and 1.9 points at 20% of the rows (one seed; p=0.14 and 0.13), and at 20% that is below the 2.3-point difference between two ordinary seeds. A single run with 10% symmetric label noise shows no detectable change (-0.2 points, 95% interval -1.7 to +1.4); 20% costs 3.4 points and 40% costs 8.7 points. Confusable-pair noise at 20% costs 7.4 points, and under noise the model moves from over-confident to under-confident. An independent labeller disagrees with the gold labels on 3.5% of held-out items, and about half of its choice disagreements (16 of 33, leaving each item out of the partner map) name the partner option that the confusable-pair noise uses. Laya is +0.9 points ahead of a TF-IDF classifier trained on the same rows at full size (the interval includes zero) and +21.1 points ahead at 5% of the rows. Everything is synthetic, LLM-labelled and from one backbone, one trainer and mostly one seed.
- Abstract(参考訳): Layaのような決定エンコーダは、名前付きオプション(例えば、どの部門がチケットを扱うべきか)とテキストで質問を読み、オプションを選択する。
1つのフォワードパスで読み出し、テキストを書かずにすべてのオプションの確率を返す。
我々は、エンコーダのようなLCMで書かれたトレーニング行がいくつ必要か、ラベルがどれくらい間違っているかを尋ねる。
2,818ロープールのネストしたサブセット上で19個のLaya(ModernBERT-large)の微調整を実行し、同じジェネレータから1,065個の保持アイテムにスコア付けしました。
精度は微調整前の69.4%から74.3%まで上昇し、5%、84.8%、50%、86.9%となっている。
曲線は平坦であり、ブートストラップ間隔の飽和は台地を固定できない。
行の20%(1.6点)で広がる種子は、サイズ間のいくつかのステップを超える。
フルプールが5%で1.9ポイント、行の20%(p=0.14と0.13)で1.9ポイント、通常の2つの種子の2.3ポイント未満の20%に小さなサブセットを付与する。
10%の対称ラベルノイズを持つ単一ランは、検出可能な変化(-0.2点、95%間隔-1.7から+1.4)を示さず、20%は3.4点、40%は8.7点である。
20%の騒音は7.4ポイントで、ノイズの下ではモデルは過信から過信へと移動する。
独立レーベルは、ホールドアウトアイテムの3.5%でゴールドレーベルと意見が一致せず、その選択不一致の約半分(33点中16点、パートナーマップから各商品を外す)は、不愉快なペアノイズが使用するパートナーオプションを名付けている。
ラヤはTF-IDF分類器の前の0.9点(区間は0を含む)であり、+21.1点は5%である。
すべては合成され、LLMでラベル付けされ、1つのバックボーン、1つのトレーナー、ほとんどが1つのシードから作られています。
関連論文リスト
- Recalibrating a Typed-Decision Model in an Afternoon: A Hands-On Recipe for Laya's Confidence Scores [0.0]
このチュートリアルでは、標準メソッドで130行のnumpyで5段階のレシピ(測定、診断、適合、検証、デプロイ)を提供する。
リトレーニングチェックポイントは、バケット当たりのテーブルを格納せず、格納された12オプション値0.1006は、実行時に0.5にクランプされる。
論文 参考訳(メタデータ) (2026-11-12T09:02:57Z) - Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model [0.0]
局所デコードは通常、世代全体の1つの重みの精度を固定する。
8ビットの重みを格納し、上位4ビットでデコードし、低精度の出力分布が不確実な場合にのみ8ビットでステップを再生成する。
論文 参考訳(メタデータ) (2026-11-10T17:57:51Z) - Beyond Ranking: Are Decision Models Calibrated Relevance Scorers? [65.62439164527557]
Jevのような決定モデルは、新しいタイプの関連スコアラである。
タイプされたスコアプリミティブは、テキスト関連レベルと状態の順序付けられたセットの質問を受け、各レベルに対して確率を返す。
Jevのベンダーは、これらの確率が調整されることを約束します。
論文 参考訳(メタデータ) (2026-11-08T16:22:38Z) - Maya a1: Do the Options Read the Model, or Does Their Position? Order Sensitivity in a Non-Autoregressive Decision Model [0.0]
ラヤは1つの[MASK]マーカーで隠れた状態をスコアリングすることで、1つのフォワードパスで複数の選択の質問をタイプした。
私たちはチェックポイントを再設計し、その答えがどのオプションがリストされているかに依存するかどうかテストします。
ラヤのトレーナーを2,818列の教師認定行に微調整し、オプションシャッフルでフリップレートを7.2%に下げる。
信頼度に富んだ投票では、69.7%が計算の4.1倍の1塩基パスで69.1%である。
論文 参考訳(メタデータ) (2026-11-06T17:54:01Z) - Swap, Replicate, Read the Mass: A Protocol for Auditing Demographic Bias in System One Decision Models [41.99844472131922]
システム1決定モデルは、テキスト生成を型付き、確率対応の回答に置き換え、生産に入る。
BBQ(全11カテゴリ)、CrowS-Pairs、SilverSpoonの3つのベンチマークを、型付きインターフェースに適合させる。
我々は、偏見よりも不安定性を追跡するような、広範囲なステレオタイプアライメント、秩序に依存した回答、信頼を見いだす。
論文 参考訳(メタデータ) (2026-10-31T00:36:15Z) - Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data [51.56484100374058]
Mixture-of-Experts (MoE)モデルは、小さなバッチサイズでインタラクティブデコーディング中にメモリからルート付きエクスプロイト重みをロードすることでボトルネックとなる。
チャネル選択はキャリブレーションデータを必要としないことを示す。
3つのスケッチでチャンネルを画面表示し、低ランクマップでスキップされたチャンネルを復元する。
論文 参考訳(メタデータ) (2026-10-27T15:11:35Z) - Self-Repulsive Sampling for Diffusion Language Models [42.61658629762382]
Self-Repulsion (SR) は、マスク付き拡散言語モデルのサンプルである。
パスはバッチ化されたフォワードパスを共有し、次に順番にコミットする。
投票の得票率は、主に正しい回答のより高いカバレッジから生じる。
論文 参考訳(メタデータ) (2026-09-30T11:58:40Z) - PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
論文 参考訳(メタデータ) (2026-08-24T17:13:25Z) - Blind to the Pivotal Vote: Aggregate Independence Metrics Miss Where Verification Actually Helps [9.710464466895521]
多数派の置換規則は、クエリの16.2%でシグナルを呼び出しながら、全体的な精度を82.44%から85.62%に向上させる。
HumanEval+/MBPP+では、16.2%のクエリでシグナルを呼び出しながら、多数派の置換規則が全体の精度を82.44%から85.62%に引き上げている。
論文 参考訳(メタデータ) (2026-08-07T08:14:46Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。