Fugu-MT 論文翻訳(概要): FunDM: Cheap & Label-Free Decision Models from Frozen Language Models

論文の概要: FunDM: Cheap & Label-Free Decision Models from Frozen Language Models

arxiv url: http://arxiv.org/abs/2610.17175v1
Date: Mon, 12 Oct 2026 17:47:28 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-18 02:55:34.391992
Title: FunDM: Cheap & Label-Free Decision Models from Frozen Language Models
Title（参考訳）: FunDM:凍結言語モデルからのチープ&ラベルフリー決定モデル
Abstract要約: ラベルなしの小さな決定ヘッドは、凍結した言語モデルの多重選択精度の約99%を回復することができる。このモデルをFunDM(Fun Decision Model)と呼ぶ。トレーニング用の正解ラベルを使わずに、完全モデルの解答確率をKL発散で学習する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Decision models such as Jev score candidate answers or actions. A small decision head trained label-free can recover about 99% of a frozen language model's multiple-choice accuracy while using only two-thirds of its transformer layers. It learns the full model's answer probabilities with KL divergence, without correct-answer labels for training. One backbone pass reads the question and all options together; the head returns probabilities for every option. We call this model FunDM (Fun Decision Model). Using 24 of Qwen3-8B's 36 layers and skipping the LM head, its +1T variant reaches 75.0% mean accuracy over eight benchmarks, versus 75.7% for the full model. On MMLU-Pro, both heads achieve 1.56 to 1.57 times batched vLLM throughput with about one-third lower peak GPU allocator memory. Both heads score higher than released Contrastive Language Models (CLM), fine-tuned CLM, and CLM-shaped heads trained from scratch on the eight multiple-choice benchmarks and coding-agent selection. Separately trained agent heads learn judge probabilities without pass/fail labels and select passing runs for 74.4 to 74.6 of 100 held-out tasks on average, versus 74 for the full-model judge and 52.0 for a CLM-shaped action-trained head. Code is available at: https://github.com/Ujjawal-K-Panchal/FunDM
Abstract（参考訳）: Jevのような決定モデルは、候補の回答やアクションをスコアする。ラベルなしの小さな決定ヘッドは、トランスフォーマー層の3分の2しか使用せず、凍結した言語モデルの多重選択精度の約99%を回復することができる。トレーニング用の正解ラベルを使わずに、完全モデルの解答確率をKL発散で学習する。 1つのバックボーンパスは、質問とすべてのオプションを一緒に読み取る。このモデルをFunDM(Fun Decision Model)と呼ぶ。 Qwen3-8Bの36層のうち24層を使用してLMヘッドをスキップすると、+1Tは8ベンチマークで75.0%、フルモデルでは75.7%に達する。 MMLU-Proでは、両方のヘッドが1.56倍から1.57倍のバッチ処理されたvLLMスループットを達成し、GPUアロケータメモリの3分の1がピークとなる。両方のヘッドは、リリースされているContrastive Language Models (CLM)、微調整されたCLM、そして8つのマルチチョイスベンチマークとコーディングエージェント選択でスクラッチからトレーニングされたCLM型のヘッドよりも高いスコアである。個別に訓練されたエージェントヘッドは、パス/フェイルラベルなしで裁判官の確率を学習し、平均して100のホールトアウトタスクのうち74.4から74.6のパスランを選択する。コードは、https://github.com/Ujjawal-K-Panchal/FunDMで入手できる。

関連論文リスト

Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
論文参考訳（メタデータ） (2026-10-01T05:57:14Z)
Benchmarking System One decision models against trained classifiers and language models for automated decision gates [1.089614199781423]
1つのハーネスは6つのファミリーから8つの決定モデルチェックポイントを送信する。タスクラベルでは、細調整されたDeBERTa-v3-largeが最も精度が高い。その結果、自動決定ゲートの条件依存ルールが得られる。
論文参考訳（メタデータ） (2026-09-29T19:57:59Z)
Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
論文参考訳（メタデータ） (2026-09-29T14:15:04Z)
JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。 Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
論文参考訳（メタデータ） (2026-09-25T11:32:19Z)
Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models [51.21958617138889]
自己認識スケジューリングは、軽量な順序ポリシーを学び、任意の順序と半自己回帰デコーディングの両方にシームレスに適用する。 1B MDMのスドクでは、SASはパズルの精度を82.0%(ベストスケジュール)から91.8%に改善し、第2ステージの微調整で97.5%に達する。 LLaDA-8Bの数学的推論では、ASSはGSM8Kのpass@1を64%から76%に改善し、MBPPは39.5%から41%に改善した。
論文参考訳（メタデータ） (2026-06-22T16:32:25Z)
Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文参考訳（メタデータ） (2026-06-01T04:43:36Z)
Articulate but Wrong: Self-Review Failures in LLM-Based Code Modernization [1.0164694825170502]
大きな言語モデル(LLM)エージェントは、レガシーコードを現代的なスタックに移行するのにますます使われています。バランスの取れた60スニペットのレガシPython-2コーパス上で、7つの異なるファミリーから11のLLMで1,980のリアルタイムモダナイゼーションコールを実行しています。セマンティック保存ドリフトは、クリーンに制御されたベースラインから広く普及し、鋭く分離可能であることが判明した。
論文参考訳（メタデータ） (2026-05-20T05:00:31Z)
Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions [103.20281438405111]
MCQA(Multiple-choice Question answering)は、高性能トランスフォーマー言語モデルのキーコンピテンスである。我々は,正解を予測するための関連情報をエンコードするキー隠れ状態のローカライズに語彙予測とアクティベーションパッチ手法を用いる。後続の層は語彙空間における予測応答記号の確率を増大させ、この確率の増加は、特異な役割を持つ注目ヘッドのスパースセットと関連していることを示す。
論文参考訳（メタデータ） (2024-07-21T00:10:23Z)
Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
論文参考訳（メタデータ） (2023-06-19T18:48:15Z)
Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference [72.61732440246954]
大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。 ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
論文参考訳（メタデータ） (2022-11-21T21:58:30Z)
Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文参考訳（メタデータ） (2020-06-16T19:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。