Fugu-MT: arxivの論文翻訳
Daily Report / 2026-10-17

注目論文デイリーレポート

2026-10-17 1 論文

Muse Glimmer 30B: An On-Device Agentic Model

著者 Arash Ebrahim Abtahizadeh, Muna Aghamelu, Adil Ahmed, Juan C. Angeles Acuna, Alexis Audran-Reiss, Asaf Avrahamy, Yoram Bachrach, Can Balioglu, Amar Budhiraja, Onur Çelebi, Gaurav Chaurasia, Joy Chen, Lynn Cherif, Lucia Cipolina-Kun, Gal Cohen, Timothée Darcet, Beto de Paola, Digant Desai, Sam Devlin, Derek Dunfield, Ivan Evtimov, Maryam Fazel-Zarandi, Rob Fergus, Jean-Christophe Gagnon-Audet, Grant Gardner, Bhavul Gauri, Paris Giampouras, Sujan Kumar Gonugondla, Antoine Grosnit, Young Han, Michael Hassid, Monuril Islam, Masoud Jalili Sabet, Songhao Jia, Narine Kokhlikyan, Svetlana Kurtsman, Sandra Lefdal, Chee Hau Leow, Noam Levi, Mike Lewis, Sanae Lotfi, Xiyang Luo, Despoina Magka, Saeed Mahloujifar, Neal Mangaokar, Ishita Mediratta, Alexander H. Miller, Hela Momand, Saba Nazir, Kelvin Niu, Mattia Opper, Parth Pathak, Alberto Pepe, Danielle Pintz, Mikhail Plekhanov, Sidhartha Reddy Potu, Anton Protopopov, Shengyi Qian, Shashank Rajput, Joseph Rocca, Scott Roy, Luca Sbordone, Amin Shakeri, Tatiana Shavrina, Michael Shvartsman, Ruan Silva, Anya Sims, Eric Michael Smith, Hugo Touvron, Mabel Ubong, Isabel Urrego, Yanzheng Xiang, Zhiyuan Yao, Alex Yarmula, He Ye, Jade Yu, Luke Zettlemoyer, Arman Zharmagambetov, Perpetua Fathima Ahlijah, Tremo Ahmed, Enrique Alfonseca, Pedram Bashiri, Nikolay Bashlykov, Aaron Berman, Rohith Bhatia, Siddharth Bhattacharya, Prashant Bhende, Chloe Bi, Shuchao Bi, Clement Anthonioz Blanc, Allen Bolourchi, Andrea Caciolai, Erica Cai, Xiang Tony Cao, Yue Cao, Andrew Caples, Jinzhao Chang, Lele Chen, Moya Chen, Weijie Chen, Wenhu Chen, Xiaobai Chen, Yinyin Chen, Zhengxing Chen, Wei Cheng, Pavel Chikulaev, Edward Chou, Sy Choudhury, Brian Clerkin, Marta R. Costa-jussà, Curtis Davis, Myra Deng, Dujian Ding, Hantian Ding, Shuangrui Ding, Jesse Dodge, Shweta Doshi, Shirin Eghtesadi, Faith Eischen, Athyu Eleti, Alex Fabbri, Han Fang, Paula Farani, Aiman Farooq, Christoph Feichtenhofer, Darius Feher, Amanda Felix, Carl Chengyan Fu, Sean Gahagan, Yifan Gao, Itai Gat, Akashdeep Goel, Ahuva Goldstand, Bo He, David Heineman, Dylan Herman, Irene Hjelt, Joonas Hjelt, Alexander Holz, Rui Hou, Annie Hu, Yuan-Ting Hu, Bernie Huang, Jing Huang, Kun Huang, Pere-Lluís Huguet Cabot, Ashley Hunter, Srinivasan Iyer, Somya Jain, Michael Jiang, Song Jiang, Wenwen Jiang, Lin Jin, Jacob Kahn, Melanie Kambadur, Yingxin Kang, Justine Kao, Stephane Kasriel, Hossein Kavianihamedani, Ameya Khandekar, Yash Khare, Gefen Kohavi, Kavya Kopparapu, Praveen Krishnan, Venu Kuchibhotla, Ananya Kumar, Leona Lan, Jack Lanchantin, Hunter Lang, Nikolay Pavlovich Laptev, Yuanzhi Li, Yunlu Li, Asad Liaqat, Johnson Lin, Runwei Lin, Zhichao Lin, Shaun Lindsay, Yaron Lipman, Frederick Liu, Mengchen Liu, Qiang Liu, Yinghai Lu, Yujie Lu, Christopher Luc, Faye Ma, Pingchuan Ma, Tengyu Ma, Wufei Ma, Xiaodong Ma, Damir Maksyutov, Josh Malone, Udeep Manchanda, Thomas Mann, Kalyani Marathe, Roberto-Rafael Maura-Rivero, Ruslan Mavlyutov, Thomas Mesnard, Julian Michael, Sagar Miglani, Todor Mihaylov, Naureen Mitha, Archi Mitra, Leo Mok, Naila Murray, Muthukumaravel Muthuraman, Mergen Nachin, Nese Demir Nalci, Saaketh Narayan, Alyssa Newcomb, Peter Ney, Joycelyn Ng, Devin Norder, Maxwell Nye, Rajvardhan Oak, Cody Ohlsen, Artidoro Pagnoni, Yi Pan, Nilesh Pandey, Guan Pang, Richard Yuanzhe Pang, Mahesh Pasupuleti, Parth Patel, Yash Patel, Vladan Petrovic, Norman Ponte, Yundi Qian, Zengyi Qin, Jack Rae, Emmanuel Ramirez, Ramya Raghavendra, Nikhila Ravi, Hongyu Ren, Riandy Riandy, Harrison Rudolph, Kalyan Saladi, Eduardo Sánchez, Karthik Abinav Sankararaman, Aman Shankar, Paresh Shenoy, Alana Shine, Hamid Shojanazeri, Iva Simon-Bubalo, Mitesh Kumar Singh, Tiffany Siqi, Pawan Sisodiya, Ali Sol, Sten Sootla, Leslie St. Pierre, DiJia Su, Suraj Subramanian, Brian Sun, Tony Sun, Zhiqing Sun, Natacha Supper, Jason Talpalar, Ellen Xiaoqing Tan, Liang Tan, Jean-Christophe Testud, Parth Thakkar, Joseph Tighe, Ty Toledano, T Tse, Igor Tufanov, Alex Vaughan, Josh Walters, Alex Wang, Bethany Wang, Meng Wang, Rocky Wang, Weiyue Wang, Xiaolan Wang, Xin Wang, Zijian Wang, Bram Wasti, Quentin Wellens, Yeming Wen, Mary Williamson, Yuncheng Wu, Fei Xia, Tian Xie, David Xu, Jacob Xu, Puxin Xu, Zheng Xu, Shen Yan, Megan Yang, Yining Yang, Nick Yannopoulos, Kevin Yao, Michihiro Yasunaga, Haoxuan You, Michael You, Dingli Yu, Tianhe Yu, Summer Yue, Xiang Yue, Shuwei Zeng, Hanwen Zha, Chen Zhang, Hongming Zhang, Kaiyu Zhang, Meng Zhang, Mingyang Zhang, Yi Zhang, Shengjia Zhao, Chao Zhou, Claire Zhou, Shuyan Zhou, Yanjun Zhou, Yaxuan Zhou, Rosalie Zhu, Yun Zhu
所属 Meta
カテゴリ Method / Agentic Models / Integrated reasoning and tool usage, Application / On-Device AI / Consumer device local execution, Evaluation / Model Reliability / Fault recovery in causal LLMs
ライセンス CC BY 4.0

Abstractの概要

Muse Glimmerは、コンシューマー向けハードウェア上でローカルに動作する自律型エージェントワークフロー向けに設計された、専用の知覚エンコーダーを備えるオープンソースの30Bパラメータ高密度因果言語モデルです。本モデルは、マルチステップ推論、ツール実行、障害復旧を単一システム内に統合し、約140言語にわたるテキストと画像のインターリーブ入力を128K以上のトークンコンテキスト長で処理します。32GBのVRAM上限に収まるよう構築されており、そのトレーニングレシピはMuse Sparkからの教師ロジット蒸留と、エージェント向け中間トレーニング、教師あり微調整、オンポリシー蒸留、強化学習を組み合わせています。さらに、トレーニング後の4ビット量子化、DFlashヘッドによる投機的デコーディング、プライバシーおよび敵対的堅牢性のための学習時対策など、デプロイ指向の拡張も導入されています。

新規性

本研究は、クラウドへのデプロイではなく、コンシューマー向けオンデバイスハードウェア専用に設計された専用のオープンウェイト30B高密度エージェントモデルを提案しています。マルチモーダル知覚、設定可能な推論深度、エージェント型ツール利用のアライメント、プライバシーを保護する情報フロートレーニングに加え、進化的混合精度量子化スキームや投機的デコーディングヘッドを含む効率的な推論成果物を単一のオープンリリースとして統合しています。

成果

Muse Glimmerは、MCPAtlasで75.5、GAIA2で43.3、SWE-Bench Proで51.2を記録し、同規模クラスのモデルの中で複数のエージェントおよびツール利用ベンチマークにおいてトップクラスの結果を達成し、Gemma4-31BやQwen3.6-27Bと同等以上の性能を示しました。15の下流タスクにわたる量子化評価では品質低下が最小限に抑えられ、EvoPressプロファイルは完全なBF16の75.7%に対し75.6%の平均精度を達成しました。また、Beam 128Kで65.1、Omnilingual Gaia2で60.4を記録し、強力なロングコンテキストおよび多言語能力も示しています。

論文の注目点

  1. Muse Glimmerは、フリーズされた視覚知覚エンコーダーと128K以上のコンテキスト長を備え、コンシューマー向けハードウェア上の32GB VRAM枠内で実行できるように構造設計された30B高密度因果言語モデルです。
  2. トレーニングパイプラインには、最先端のMuse Sparkモデルからのロジット蒸留、エージェント型合成ユニバースデータ、オンポリシー蒸留、そして推論・ツール利用・プライバシー配慮型情報フローのための多目的強化学習が組み込まれています。
  3. 評価により、同規模として最先端のエージェントおよびツール利用性能が実証され、約4ビット量子化に圧縮されDFlash投機ヘッドで高速化された場合でも、ほぼBF16と同等の精度を維持することが示されました。

参考リンク

このページはGPT-5、Claude Opus 4、Gemini 3、Gemini 3.1 Flash Image 及びその上位バージョンなどの生成AIを用いて作成されています。内容の保証は一切できません。