論文の概要: UltraBERT-JEV: Encoder models for System One Applications
- arxiv url: http://arxiv.org/abs/2611.17867v1
- Date: Fri, 13 Nov 2026 07:58:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.331312
- Title: UltraBERT-JEV: Encoder models for System One Applications
- Title(参考訳): UltraBERT-JEV: System One 用エンコーダモデル
- Abstract要約: テキストを生成することなく、1つのフォワードパスで複数のオプションの1つを選択するエンコーダモデルについて検討する。
NVIDIA A100上で1回に1回要求すると、エンコーダは68msに対して29ms、ピークメモリは2.8、2.2GiBに対して29msである。
人間の印付けされた証拠と、SelfCiteに適合した報酬で選択されたラベルに基づいて訓練された補助的頭文字は、回答のサポートとして注釈付けされた文を同じパスで予測する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study encoder models that pick one of several options in a single forward pass, without generating text. This technical report compares recipes for fine-tuning UltraBERT-380M with one mask per option. The four recipes differ in how an option is scored and how the scores become probabilities; one follows the expert gate of DeepSeek-V3. Trained on the same data as Qwen3-0.6B with the LLM-as-Jev recipe (67.6% test accuracy), the encoder reaches 69.7% to 72.1%. Scoring an option by "yes" minus "no" instead of "yes" alone gives the larger gain, from 69.7% to 71.3% on the test set and from 57.8% to 59.6% on external benchmarks (56.1% for the decoder). Sigmoid normalisation adds 0.8 test points; a square-root softplus adds none. One request at a time on an NVIDIA A100, the encoder takes 29 ms per decision against 68 ms, but uses more peak memory (2.8 against 2.2 GiB). An auxiliary head, trained on human-marked evidence and on labels selected with a reward adapted from SelfCite, predicts in the same pass the sentences annotated as support for the answer.
- Abstract(参考訳): テキストを生成することなく、1つのフォワードパスで複数のオプションの1つを選択するエンコーダモデルについて検討する。
この技術レポートは、細調整のUltraBERT-380Mのレシピを1つのマスクで比較する。
4つのレシピは、オプションのスコアの仕方と、スコアの確率の仕方で異なり、ひとつはDeepSeek-V3のエキスパートゲートに続く。
LLM-as-Jevレシピ(67.6%の精度)でQwen3-0.6Bと同じデータでトレーニングされ、エンコーダは69.7%から72.1%に達する。
オプションを "yes" に代えて "no" を最小にすることで、テストセットで 69.7% から 71.3% 、外部ベンチマークで 57.8% から 59.6% (デコーダで 56.1%) に大きく向上した。
シグモイド正規化は0.8のテストポイントを加算し、平方根のソフトプラスはゼロを加算する。
NVIDIA A100で一度に1回要求すると、エンコーダは68msに対して29ms、ピークメモリは2.8gBに対して2.2GBBである。
人間の印付けされた証拠と、SelfCiteに適合した報酬で選択されたラベルに基づいて訓練された補助的頭文字は、回答のサポートとして注釈付けされた文を同じパスで予測する。
関連論文リスト
- Beyond Ranking: Are Decision Models Calibrated Relevance Scorers? [65.62439164527557]
Jevのような決定モデルは、新しいタイプの関連スコアラである。
タイプされたスコアプリミティブは、テキスト関連レベルと状態の順序付けられたセットの質問を受け、各レベルに対して確率を返す。
Jevのベンダーは、これらの確率が調整されることを約束します。
論文 参考訳(メタデータ) (2026-11-08T16:22:38Z) - Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data [51.56484100374058]
Mixture-of-Experts (MoE)モデルは、小さなバッチサイズでインタラクティブデコーディング中にメモリからルート付きエクスプロイト重みをロードすることでボトルネックとなる。
チャネル選択はキャリブレーションデータを必要としないことを示す。
3つのスケッチでチャンネルを画面表示し、低ランクマップでスキップされたチャンネルを復元する。
論文 参考訳(メタデータ) (2026-10-27T15:11:35Z) - Semantically Rich, Metrically Affect-Blind: A Geometric Blind Spot in Modern Text Embedders [0.0]
Sentiment-Injected Sentence Embeddings (SISE) は、CPU上の数秒間、凍結エンコーダ上に小さな(0.13M-0.69M-パラメータ)教師付きヘッドをトレーニングする。
我々はCPU再生可能なパイプラインと再利用可能な診断ツールであるAttribute Alignment Gapをリリースする。
論文 参考訳(メタデータ) (2026-10-23T03:50:48Z) - Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters [0.0]
32万のパラメーターを3つ並べた調査では、37ベンチマークの判定スイートのホールドアウトサンプルで、オプション毎のスコアがジョイントスコアを上回りました。
初期化によるクロスリーダーの利点は、クエリ候補のペア入力がオプション毎の読み取りと一致している、再ランカの初期化が必要であることを示している。
論文 参考訳(メタデータ) (2026-10-22T09:14:44Z) - HoloCosm: Beyond Single-Metric Benchmark Compression Across Multiple Metrics [68.34740823532404]
本稿では,ランキングの歪みを抑えながら,ソースモデルとメトリクス間の正規化スコア再構成誤差を最小限に抑えるHoloCosmを提案する。
我々は,HoloCosmを15言語,マルチモーダル,VLA,エージェントベンチマークなど,85のパラメータを持つ複数の圧縮速度で評価した。
論文 参考訳(メタデータ) (2026-10-19T16:47:29Z) - System X: An LLM Decision Model That Replies from Its Own KV Cache [2.1956992918521805]
決定モデルは供給されたオプションよりも確率を返すが、デプロイされたエージェントは言葉で返信する必要がある。
本稿では,大言語モデル (LLM) 決定モデルである System X を紹介する。
System X v4はQwen3-1.7B、データの再バランス、教師が書き直した返信ターゲットを使用する。
論文 参考訳(メタデータ) (2026-10-18T18:40:50Z) - FunDM: Cheap & Label-Free Decision Models from Frozen Language Models [0.0]
ラベルなしの小さな決定ヘッドは、凍結した言語モデルの多重選択精度の約99%を回復することができる。
このモデルをFunDM(Fun Decision Model)と呼ぶ。
トレーニング用の正解ラベルを使わずに、完全モデルの解答確率をKL発散で学習する。
論文 参考訳(メタデータ) (2026-10-12T17:47:28Z) - Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。
オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
論文 参考訳(メタデータ) (2026-10-01T05:57:14Z) - Correlation-Guided Encoder Selection for Multi-Encoder Large Audio-Language Models [52.59216139491759]
CUES (Correlation-gUided Selection) は、単エンコーダ評価のみから選択中の融合訓練なしで設定された候補をスコアする。
広いトラックAスイートでは、CUESはクロスファミリートリオ(Whisper-medium、mHuBERT-147、Dasheng-base)を選択する。
TrackBテキスト生成では、フォーカスされた音声のみのペア(mHuBERT-147とWavLM-base-plus)で再アンカーする。
論文 参考訳(メタデータ) (2026-09-16T02:41:41Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z) - It Takes Two: Masked Appearance-Motion Modeling for Self-supervised
Video Transformer Pre-training [76.69480467101143]
自己監督型ビデオトランスフォーマーの事前トレーニングは、最近マスク・アンド・予測パイプラインの恩恵を受けている。
本稿では,映像中の動きの手がかりを余分な予測対象として明示的に調査し,マスケッド・出現運動モデリングフレームワークを提案する。
一般的なビデオ表現を学習し、Kinects-400で82.3%、Something V2で71.3%、UCF101で91.5%、HMDB51で62.5%を達成する。
論文 参考訳(メタデータ) (2022-10-11T08:05:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。