論文の概要: Mellum: Production-Grade in-IDE Contextual Code Completion with Multi-File Project Understanding

• arxiv url: http://arxiv.org/abs/2510.05788v1
• Date: Tue, 07 Oct 2025 11:09:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.217988
• Title: Mellum: Production-Grade in-IDE Contextual Code Completion with Multi-File Project Understanding
• Title（参考訳）: Mellum: マルチファイルプロジェクト理解によるIDEのコンテクストコード補完
• Authors: Nikita Pavlichenko, Iurii Nazarov, Ivan Dolgov, Ekaterina Garanina, Dmitry Ustalov, Ivan Bondyrev, Kseniia Lysaniuk, Evgeniia Vu, Kirill Chekmenev, Joseph Shtok, Yaroslav Golubev, Anton Semenkin, Uladzislau Sazanovich,
• Abstract要約: Mellumモデルは、4Bパラメータを持ち、Llamaスタイルのアーキテクチャを採用し、寛容にライセンスされた多言語コードの4Tトークンで事前訓練されている。 コンテクスト化されたインエディターコンプリートを生成するためのエンドツーエンド産業パイプラインについて述べる。
• 参考スコア（独自算出の注目度）: 4.90964288676588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the Mellum models family, open-weight code completion models designed for interactive use in JetBrains IDEs. Mellums have 4B parameters, adopt a Llama-style architecture, and are pre-trained on ~4T tokens of permissively licensed, multi-language code. Our studies show that (i) careful data curation and staged training significantly improve the model's quality, (ii) editor-critical capabilities such as context packing are necessary for high-quality suggestions, and (iii) a compact, task-focused model can meet the cost and latency constraints of interactive completion. In the paper, we describe an end-to-end industrial pipeline for producing contextualized in-editor completion: disciplined data governance, multi-stage training that includes fill-in-the-middle and project context via supervised fine-tuning, and alignment via direct preference optimization using feedback from real-world scenarios. Our quality evaluations include both large-scale offline benchmarks and online telemetry from production deployments in JetBrains IDEs. Mellums are released under the Apache-2.0 license on HuggingFace, with a public model card providing a reproducible reference for practitioners. Our experience offers a pragmatic blueprint for taking a focused, open model from a research prototype to at scale production for hundreds of thousands of users.
• Abstract（参考訳）: JetBrains IDEのインタラクティブな使用のために設計された,オープンウェイトなコード補完モデルであるMellumモデルファミリを提示する。 Mellum は 4B パラメータを持ち、Llama スタイルのアーキテクチャを採用し、寛容にライセンスされた多言語コードの ~4T トークンで事前訓練されている。 私たちの研究は 一 慎重なデータキュレーション及び段階訓練により、モデルの質が著しく向上する。 (II)高品質な提案には,コンテキストパッキングなどのエディタクリティカルな機能が必要である。 三) 対話的な完了のコストと遅延の制約を満たす、コンパクトなタスク中心のモデル。 本稿では,コンテクスト化されたエディター内補完を生成するためのエンドツーエンドの産業パイプラインについて述べる。規律付きデータガバナンス,教師付き微調整による中途半端とプロジェクトコンテキストを含む多段階トレーニング,実世界のシナリオからのフィードバックによる直接的な選好最適化によるアライメント。 私たちの品質評価には、大規模オフラインベンチマークとJetBrains IDEのプロダクションデプロイメントからのオンラインテレメトリの両方が含まれています。 MellumsはHuggingFaceのApache-2.0ライセンスでリリースされており、実践者への再現可能な参照を提供する公開モデルカードが提供されている。 私たちの経験は、研究プロトタイプから数十万人のユーザのための大規模生産まで、集中型でオープンなモデルを実現するための実践的な青写真を提供しています。

関連論文リスト

• Modular Techniques for Synthetic Long-Context Data Generation in Language Model Training and Evaluation [0.0]
  本研究は,大規模言語モデル (LLM) との即時相互作用による長文データ生成のためのモジュラーフレームワークを導入する。 このフレームワークは、Supervised Fine-Tuning (SFT)、Direct Preference Optimization (DPO)、Group Relative Policy Optimization (GRPO)など、複数のトレーニングとアライメントの目標をサポートする。 マルチターン対話、文書入力出力ペア、検証可能な命令応答タスク、長文推論例の4つのコア生成パラダイムを含んでいる。
  論文  参考訳（メタデータ） (2025-09-01T07:08:45Z)
• SynthCoder: A Synthetical Strategy to Tune LLMs for Code Completion [7.668823606571788]
  コード補完は、ソフトウェア工学における大規模言語モデル(LLM)の顕著な応用である。 本稿では,Fill-in-the-Middle(FIM)コード補完タスクにおける最先端技術を実現するために,業界をリードするプラクティスを統合するモデルであるSynthCoderを提案する。
  論文  参考訳（メタデータ） (2025-08-21T12:23:49Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• Design2Code: Benchmarking Multimodal Code Generation for Automated Front-End Engineering [74.99736967448423]
  私たちは、このタスクのための最初の実世界のベンチマークであるDesign2Codeを構築します。 テストケースとして484の多様な実世界のWebページを手作業でキュレートし、自動評価指標のセットを開発する。 我々の詳細なブレークダウンメトリクスは、入力されたWebページから視覚要素をリコールし、正しいレイアウト設計を生成するモデルがほとんど遅れていることを示している。
  論文  参考訳（メタデータ） (2024-03-05T17:56:27Z)
• Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
  本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。 モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。 提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
  論文  参考訳（メタデータ） (2024-02-28T16:35:52Z)
• Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs [49.88461345825586]
  本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。 本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。 本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-01T05:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。