論文の概要: Llamion Technical Report

• arxiv url: http://arxiv.org/abs/2605.25676v1
• Date: Mon, 25 May 2026 10:27:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.734631
• Title: Llamion Technical Report
• Title（参考訳）: ラミオン技術報告
• Authors: Kisu Yang, Yoonna Jang, Hyeonseok Moon, Hwanseok Jang, Taewoo Lee, Hyungjin Lee, Jeseung Lee, Juhyoung Park, Heuiseok Lim,
• Abstract要約: 我々はOrion-14Bを標準化されたLlamaファミリーアーキテクチャに変換する。 ラミオンは、H6、MT-Bench、KoMMLU上のオリオンの挙動を回復し、A100のトークンはわずか123Mで4日で回復する。
• 参考スコア（独自算出の注目度）: 17.983567146196254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We release Llamion, a family of 14B-parameter open-weight language models obtained by transforming Orion-14B into the standardized Llama-family architecture. The transformation is performed by Efficient Knowledge Preservation for Transformation (KEPT), a recipe that combines (i) Normal Parameter Mapping (NPM) for unchanged modules, (ii) Optimized Parameter Mapping (OPM), a training-free LayerNorm-to-RMSNorm initialization we prove optimal under the near-zero-mean activation regime induced by weight decay, and (iii) Cross-architecture Knowledge Distillation (XKD), an equal-size frozen-teacher distillation that aligns the converted model's outputs with the source model's on any reasonable input distribution. Llamion recovers Orion's behaviour on H6, MT-Bench, and KoMMLU with only ~123M tokens on a single A100 in four days; Llamion-Base reaches 66.87% on KoMMLU, exceeding the next-best entry of the Open Ko LLM Leaderboard by >7.0 absolute points at submission time. Capabilities entirely absent from the transfer corpus (Python programming and 200K-token context handling) survive the architectural transition intact. We release three checkpoints (Base, Chat, LongChat) that load with trust_remote_code=False in the Hugging Face Transformers library.
• Abstract（参考訳）: 私たちはOrion-14Bを標準化されたLlamaファミリーアーキテクチャに変換することで得られた14Bパラメタのオープンウェイト言語モデルのファミリーであるLlamionをリリースする。 この変換は、組み合わせたレシピであるEfficient Knowledge Preservation for Transformation (KEPT)によって実行される。 (i)モジュールの正規パラメータマッピング(NPM) (II)トレーニング不要なLayerNorm-to-RMSNorm初期化である最適化パラメータマッピング(OPM)は、重量減衰によって誘導されるほぼゼロ平均活性化体制の下で最適であることが証明される。 3 クロスアーキテクチャ知識蒸留(XKD)とは、変換されたモデルの出力と、任意の合理的な入力分布上のソースモデルの出力とを整合させる等サイズの冷凍教師蒸留である。 Llamionは、H6、MT-Bench、KoMMLU上のOrionの振る舞いを4日間で1つのA100に1123Mのトークンで回復し、Llamion-BaseはKoMMLU上で66.87%に達した。 トランスファーコーパス(Pythonプログラミングと200Kのコンテキストハンドリング)から完全に欠落した能力は、アーキテクチャの遷移をそのまま維持する。 私たちは、Hugging Face TransformersライブラリでTrust_remote_code=Falseでロードする3つのチェックポイント(Base、Chat、LongChat)をリリースします。

関連論文リスト

• A general tensor-structured compression scheme for efficient large language models [8.85443988406591]
  対象とする密度線形層をテンソル作用素の実行可能な混合に置き換える一般的なテンソル構造圧縮スキームを提案する。 MixTはTransformerベースの大規模言語モデル(LLM)や他の高密度ニューラルネットワークにも適用可能である。 LLaMA2-7B遷移境界において、MixTはフルモデルパラメータを47.5%、推論FLOPを37.1%、FLOPを52.1%、ピーク推論メモリを60.4%削減する。
  論文  参考訳（メタデータ） (2026-05-25T02:00:41Z)
• Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs [48.83701310501069]
  大規模言語モデル(LLM)は、ニューラルアーキテクチャ生成の強力な可能性を示している。 既存のアプローチは、ゼロから完全なモデル実装を生成します。 我々はデルタ符号生成法を提案し、細調整されたLLMはコンパクトな統一差分を生成する。
  論文  参考訳（メタデータ） (2026-05-06T13:32:05Z)
• THEIA: Learning Complete Kleene Three-Valued Logic in a Pure-Neural Modular Architecture [0.0]
  THEIAは2.75Mのモジュラー・ニューラルアーキテクチャで、外部のシンボル推論や手書きのK3ゲートプリミティブを使わずにタスクデータから完全Kleene 3値論理(K3)真理表を学習する。 トランスフォーマーのベースラインは39の規則すべてで99%に到達し、フラットは0.04pp以内のフェーズ1の精度でTheIAと一致している。
  論文  参考訳（メタデータ） (2026-04-13T10:44:15Z)
• JTok: On Token Embedding as another Axis of Scaling Law via Joint Token Self-modulation [46.64215658042213]
  補助埋め込みテーブルから得られる変調ベクトルを用いてトランスフォーマー層を拡大するジョイント・トケン(JTok)とジョイント・トケン(JTok-M)の混合を導入する。 これらのベクトルは、軽量な要素演算によってバックボーンを変調し、無視可能なFLOPのオーバーヘッドを発生させる。 我々のアプローチは、検証損失を継続的に減らし、ダウンストリームタスクのパフォーマンスを大幅に改善します。
  論文  参考訳（メタデータ） (2026-01-31T16:15:18Z)
• From Memorization to Creativity: LLM as a Designer of Novel Neural-Architectures [48.83701310501069]
  大規模言語モデル(LLM)は、プログラム合成において優れているが、ニューラルネットワーク設計(信頼性、性能、構造的ノベルティ)を自律的にナビゲートする能力は、未調査のままである。 コード指向LLMをクローズドループ合成フレームワークに配置し、22の教師付き微調整サイクルの進化を解析することによって、この問題に対処する。
  論文  参考訳（メタデータ） (2026-01-06T13:20:28Z)
• TransMLA: Multi-Head Latent Attention Is All You Need [34.38934956358534]
  TransMLAはGQAベースのモデルをMLAベースのモデルにシームレスに変換するフレームワークである。 LLaMA-2-7BでKVキャッシュの93%を圧縮することにより、TransMLAは8Kコンテキスト長で10.6倍の推論スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-11T18:20:18Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation [53.675725490807615]
  SDPoseは小型変圧器モデルの性能向上のための新しい自己蒸留法である。 SDPose-Tは4.4Mパラメータと1.8 GFLOPを持つ69.7%のmAPを取得し、SDPose-S-V2はMSCOCO検証データセット上で73.5%のmAPを取得する。
  論文  参考訳（メタデータ） (2024-04-04T15:23:14Z)
• Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
  Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。 Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-06-02T06:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。