論文の概要: OLLM: Options-based Large Language Models

• arxiv url: http://arxiv.org/abs/2604.19087v1
• Date: Tue, 21 Apr 2026 04:59:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.627146
• Title: OLLM: Options-based Large Language Models
• Title（参考訳）: OLLM:オプションベースの大規模言語モデル
• Abstract要約: LLM(Options LLM)は,標準LLMの1つの次点予測を置き換える,単純で汎用的な手法である。 小さな潜在空間は、下流ポリシーで選択または探索できる複数の可算次の選択肢をパラメータ化する。 この結果から,選択された次世代モデリングは,数学推論における制御性,堅牢性,効率性を向上することが示された。
• 参考スコア（独自算出の注目度）: 1.4783646973333087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Options LLM (OLLM), a simple, general method that replaces the single next-token prediction of standard LLMs with a \textit{set of learned options} for the next token, indexed by a discrete latent variable. Instead of relying on temperature or sampling heuristics to induce diversity, OLLM models variation explicitly: a small latent space parametrizes multiple plausible next-token options which can be selected or searched by a downstream policy. Architecturally, OLLM is a lightweight "plug-in" that inserts two layers: an encoder and a decoder, before the output head, allowing almost any pretrained LLM to be converted with minimal additional parameters. We apply OLLM to a 1.7B-parameter backbone (only $1.56\%$ of parameters trainable) trained on OpenMathReasoning and evaluated on OmniMath. The SOTA LoRA-adapted baselines peak at $51\%$ final answer correctness, while OLLM's option set allows up to $\sim 70\%$ under optimal latent selection. We then train a compact policy in the latent space that emits latents to control generation. Operating in a low-dimensional option space makes reward optimization far more sample-efficient and substantially reduces common misalignments (e.g., language switching or degenerate reasoning), as the policy is constrained to options learned during SFT. Crucially, this alignment arises from model structure rather than additional KL or handcrafted alignment losses. Our results demonstrate that optionized next-token modeling enhances controllability, robustness, and efficiency in math reasoning, and highlight latent-space policy learning as a promising direction for reinforcement learning in LLMs.
• Abstract（参考訳）: 本稿では,標準LLMの次の次の予測を,離散潜在変数でインデックス付けされた次のトークンの \textit{set of learned options} に置き換える,単純で汎用的な方法であるOptions LLM(OLLM)を紹介する。 OLLMモデルは、多様性を誘導するために温度やサンプリングヒューリスティックに頼る代わりに、明示的に変動する: 小さな潜在空間は、下流のポリシーで選択または探索できる複数の可算次の選択肢をパラメトリする。 アーキテクチャ上、OLLMは軽量な"プラグイン"で、出力ヘッドの前にエンコーダとデコーダという2つのレイヤを挿入する。 OLLM を OpenMathReasoning でトレーニングし,OmniMath で評価した 1.7B パラメータバックボーン (トレーニング可能なパラメータの 1.56 % のみ) に適用する。 SOTA LoRAに適応したベースラインは511\%$final answer correctnessでピークであり、OLLMのオプションセットは最適な潜在選択の下で最大$\sim 70\%$である。 次に、潜在空間でコンパクトなポリシーを訓練し、ラテントを出力して生成を制御する。 低次元のオプション空間で運用することで、報酬の最適化はよりサンプリング効率が良くなり、SFTで学んだオプションに制限されるため、一般的なミスアライメント(例えば、言語スイッチや退化推論)が大幅に削減される。 重要なことに、このアライメントは、追加のKLや手作りのアライメント損失よりもモデル構造に由来する。 提案手法は,LLMにおける強化学習の有望な方向として,制御性,堅牢性,効率性を向上し,潜在空間政策学習が重要であることを示す。

関連論文リスト

• FutureBridge: Token Selection Beyond Local Preference in Collaborative Decoding [22.821312636429713]
  トークンレベルのコラボレーションにより、予測が分岐するときに、大きな言語モデルが小さな言語モデルを支援することができる。 本稿では,LLM-SLMトークン候補をSLMのその後の推論をいかに支持するかに応じてランク付けするFutureBridgeについて紹介する。
  論文  参考訳（メタデータ） (2026-08-07T05:19:14Z)
• Lightweight Fairness for LLM-Based Recommendations via Kernelized Projection and Gated Adapters [6.204830452202052]
  大規模言語モデル(LLM)は、動的、コンテキスト認識、会話的レコメンデーションを可能にする、レコメンデーションシステムのための新しい機能を導入した。 LLMは、特に人口統計学的手がかりが存在する場合、トレーニング前のデータに埋め込まれた社会的バイアスを増幅する。 本稿では,カーネル化された反復核空間投影(INLP)とゲート型Mixture-of-Experts(MoE)アダプタを組み合わせた軽量でスケーラブルなバイアス軽減手法を提案する。
  論文  参考訳（メタデータ） (2026-03-24T23:26:04Z)
• Learning Together to Perform Better: Teaching Small-Scale LLMs to Collaborate via Preferential Rationale Tuning [20.784944581469205]
  COLLATEは、(小さな)LLMをチューニングして、下流タスクを選択的に改善する多様な理性のプールから出力を生成するフレームワークである。 様々なパラメータスケール(1Bから8B)で異なるモデルファミリーのLCMに対してCOLLATEが有効であることを示すとともに、終了タスクによって導かれる複数の合理化プロバイダのメリットを示す。
  論文  参考訳（メタデータ） (2025-06-03T06:50:08Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Extend Model Merging from Fine-Tuned to Pre-Trained Large Language Models via Weight Disentanglement [72.97553348776425]
  我々は、FTからPT LLMへのマージ技術の適用性を拡大するための先駆的な取り組みを行っている。 WeIght DisENtanglement (WIDEN) に基づくアプローチを導入し、マージ範囲を効果的に拡張する。 Qwen1.5-Chat (FT LLM with instruction-following skills) と Sailor (PT LLM with multilingual abilities) を7Bおよび14Bモデルスケールにマージする。
  論文  参考訳（メタデータ） (2024-08-06T10:46:46Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。