論文の概要: Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters
- arxiv url: http://arxiv.org/abs/2610.30970v1
- Date: Thu, 22 Oct 2026 09:14:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.300247
- Title: Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters
- Title（参考訳）: ジョイント・パー・オプティオン? クローズド・セット決定のためのコンパクトエンコーダの1700万から10億のパラメータ
- Abstract要約: 32万のパラメーターを3つ並べた調査では、37ベンチマークの判定スイートのホールドアウトサンプルで、オプション毎のスコアがジョイントスコアを上回りました。
初期化によるクロスリーダーの利点は、クエリ候補のペア入力がオプション毎の読み取りと一致している、再ランカの初期化が必要であることを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many language-model pipelines end in a closed-set decision, such as selecting a tool. Prompting a large language model for it is slow and order-sensitive. We ask how small an encoder for such decisions can be and whether it should read the options jointly or separately. In a three-seed study at 32 million parameters, per-option scoring beats joint scoring on a held-out sample of a 37-benchmark decision suite by 5.8 points of chance-corrected skill at matched optimizer steps and by 2.8 at approximately matched training compute; two external benchmarks agree, though not significantly on their unseen tasks. Crossing reader with initialisation shows that the advantage requires a reranker initialisation, whose query-candidate pair input matches per-option reading; from the raw encoder the two readers are indistinguishable. Per-option scoring needs 5 to 13 times more encoder passes: at most twice the median latency, but more than four times the mean. Of six released joint encoders (17 million to 1 billion parameters), the 68- and 150-million-parameter models exceed a 435-million-parameter DeBERTa-v3 zero-shot classifier by 4.9 and 5.9 accuracy points on 209 overlap-audited System1-Arena tasks and are at least on par with it on the 145 tasks unseen in training. The smallest answers a median request in 14 milliseconds on 16 processor threads, against 728 for the classifier. Reordering options changes 12 to 23% of the joint models' answers (per-option scoring: none). Up to 68 million parameters, they lead their size range on a public leaderboard's private, mainly in-distribution tests.
- Abstract（参考訳）: 多くの言語モデルパイプラインは、ツールの選択など、クローズドセットの決定で終わる。
大規模な言語モデルを提案するのは遅く、順序に敏感です。
このような決定のエンコーダがどの程度小さいのか、選択肢を共同で読むべきか、別々に読むべきかを問う。
3百万のパラメータによる3シードの研究では、オプション毎のスコアは37ベンチマーク決定スイートのホールトアウトサンプルで、マッチしたオプティマイザステップで5.8ポイント、ほぼマッチしたトレーニング計算で2.8ポイント、それぞれが一致しているが、2つの外部ベンチマークが一致している。
初期化によるクロスリーダーの利点は、クエリ候補のペア入力がオプション毎の読み出しと一致しているリランカの初期化が必要であることを示し、生のエンコーダから2人の読者は区別できない。
オプション毎のスコアリングには5～13倍のエンコーダパスが必要です。
6つのリリースされた共同エンコーダ(17億から10億のパラメータ)のうち、68および150万パラメーターモデルは435万パラメートルのDeBERTa-v3ゼロショット分類器を4.9と5.9の精度で上回り、209のオーバーラップ監査されたSystem1-Arenaタスクで、少なくともトレーニングで見つからない145のタスクで同等である。
最小のものは16のプロセッサスレッド上で14ミリ秒で中央値の要求に答え、分類器は728である。
並べ替えオプションは、ジョイントモデルの回答の12～23%を変える(オプション毎のスコア:ノー)。
最大6800万のパラメータが、公開のリーダーボードのプライベートで、主に流通テストでそのサイズをリードする。
関連論文リスト
- Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling [26.882267847221353]
Intern-Decisionは0.8B、2B、4Bマルチモーダル決定モデルである。
我々の自己回帰型マスキング言語は、フィールドごとに1つの決定的プレースホルダーを完全なアシスタントスケルトンに配置する。
結果は、より大きなエージェントシステムの実用的なコンポーネントとして、コンパクトな決定モデルをサポートする。
論文 参考訳（メタデータ） (2026-10-15T16:05:48Z) - Benchmarking Self-Supervised 3D Medical Vision Foundation Models and Transferability Estimation [57.65266782182578]
セルフ教師付き事前トレーニングは、3D医療基盤モデルのプールを拡張したが、異なるデータセット、エンドポイント、微調整プロトコルを使用した評価を公表した。
14のセグメンテーション、分類、回帰タスク、複数の解剖学とモダリティにまたがる23の候補をベンチマークした。
3モデルショートリストは、7つのセグメンテーションタスクで記録された抜粋+訓練ジョブ時間を85.8%削減した。
論文 参考訳（メタデータ） (2026-10-13T01:52:19Z) - Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。
オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
論文 参考訳（メタデータ） (2026-10-01T05:57:14Z) - Bongard: Training Machine Intuition [7.297514014595282]
Bongardは、マシンの直感を設計とトレーニングの独立した能力として扱う、オープンウェイトなSystem Oneモデルである。
T5Gemma 2 4B-4Bエンコーダデコーダは、証拠を読むことと判断することとを分離する。
訓練されたヘッドは、テキストを生成することなく、供給された候補に対して確率を返す。
論文 参考訳（メタデータ） (2026-09-30T06:48:21Z) - ThinkNet: Compact Architecture Selection and Validation-Gated Ensembles for Subject-Independent MI-EEG Decoding [3.383341806828598]
ThinkNetは、コンパクトなMI-EEGモデルとポリシーのための検証制御フレームワークである。
デプロイ不能な分析では6.1ポイントの家族選択ギャップとほぼゼロの検証-テスト相関がみられた。
論文 参考訳（メタデータ） (2026-09-27T22:11:26Z) - Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference [13.137699166830322]
大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。
同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。
実験により,22層に蓄積したボディーエラーは,浮動小数点数と浮動小数点数とを区別しないことがわかった。
論文 参考訳（メタデータ） (2026-09-22T15:54:16Z) - SCX Router: Streaming Zero-Shot Model Selection with a Decoder-KV Classifier and a Real-World Task Ontology [47.16406021922537]
本稿では,GLiClassをベースとした軽量ルータであるルータを紹介し,自動生成なしで各推論時間モデルラベルに適合点を割り当てる。
タスク生成には、23のファミリー、115のタスクタイプ、345のルータブルなサブタイプ、1,173の合成例と30のドメインの軸を持つタスク構造を構築する。
次に、これらのタスクでQwen3デコーダをトレーニングし、学習された要求予測を、適格性、コスト、キャッシュ再利用、安全性、主権といった属性に対するタスクごとのポリシーから明確に分離します。
論文 参考訳（メタデータ） (2026-09-02T08:40:07Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳（メタデータ） (2026-06-01T04:43:36Z) - A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。
85.7%は単一のプログラミング言語に重点を置いている。
94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。
80%以上は平均10件未満のテストケースを含む。
論文 参考訳（メタデータ） (2025-09-30T11:30:08Z) - The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。
最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。
我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
論文 参考訳（メタデータ） (2022-12-19T18:48:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。