Fugu-MT 論文翻訳(概要): Modeling Code: Is Text All You Need?

論文の概要: Modeling Code: Is Text All You Need?

arxiv url: http://arxiv.org/abs/2507.11467v1
Date: Tue, 15 Jul 2025 16:39:12 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-16 19:46:03.189278
Title: Modeling Code: Is Text All You Need?
Title（参考訳）: コードモデリング: テキストは必要か?
Authors: Daniel Nichols, Konstantinos Parasyris, Harshitha Menon, Brian R. Bartoldson, Giorgis Georgakoudis, Tal Ben-Nun, Abhinav Bhatele,
Abstract要約: 我々は、テキストとより構造化された形式の両方をモデリングする長所を結合する新しいアプローチを導入する。本研究では,テキストとより構造化された形式の両方をモデル化する手法を提案する。
参考スコア（独自算出の注目度）: 5.738390041399324
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Code LLMs have become extremely popular recently for modeling source code across a variety of tasks, such as generation, translation, and summarization. However, transformer-based models are limited in their capabilities to reason through structured, analytical properties of code, such as control and data flow. Previous work has explored the modeling of these properties with structured data and graph neural networks. However, these approaches lack the generative capabilities and scale of modern LLMs. In this work, we introduce a novel approach to combine the strengths of modeling both code as text and more structured forms.
Abstract（参考訳）: コードLLMは、生成、翻訳、要約など、様々なタスクでソースコードをモデリングするのに非常に人気がある。しかし、トランスフォーマーベースのモデルは、制御やデータフローなどのコードの構造的、分析的性質を推論する能力に制限がある。これまでの研究は、構造化データとグラフニューラルネットワークによるこれらの特性のモデリングについて検討してきた。しかし、これらのアプローチは現代のLLMの生成能力と規模を欠いている。本研究では,テキストとより構造化された形式の両方をモデル化する手法を提案する。

関連論文リスト

Unifying Multimodal Large Language Model Capabilities and Modalities via Model Merging [103.98582374569789]
モデルマージは、複数のエキスパートモデルを単一のモデルにまとめることを目的としており、ストレージとサービスコストを削減している。これまでの研究は主に、コードと数学のタスクに視覚分類モデルやLLM(Large Language Models)を統合することに焦点を当ててきた。本稿では,VQA,Geometry,Chart,OCR,Gundingといった複数のタスクを含むMLLMのモデルマージベンチマークを紹介する。
論文参考訳（メタデータ） (2025-05-26T12:23:14Z)
Chunk-Distilled Language Modeling [25.238256586953487]
Chunk-Distilled Language Modeling (CD-LM)は、現在の大規模言語モデル(LLM)における2つの課題に対処するテキスト生成のアプローチである。提案手法は,ディープネットワークベースのLCMと簡単な検索モジュールを組み合わせることで,単一のデコードステップでマルチトークンテキストチャンクを生成する。
論文参考訳（メタデータ） (2024-12-31T08:32:15Z)
GALLa: Graph Aligned Large Language Models for Improved Source Code Understanding [20.12647254668254]
最近のコード言語モデルは数十億のパラメータに拡張されているが、ソースコードはテキストトークンとしてのみモデル化されている。 GALLa - Graph Aligned Large Language Modelsで両世界のベストを尽くします。
論文参考訳（メタデータ） (2024-09-06T10:57:34Z)
Configurable Foundation Models: Building LLMs from a Modular Perspective [115.63847606634268]
LLMを多数の機能モジュールに分解する傾向が高まり、複雑なタスクに取り組むためにモジュールの一部とモジュールの動的アセンブリを推論することができる。各機能モジュールを表すブロックという用語を造語し、モジュール化された構造をカスタマイズ可能な基礎モデルとして定義する。検索とルーティング,マージ,更新,成長という,レンガ指向の4つの操作を提示する。 FFN層はニューロンの機能的特殊化と機能的ニューロン分割を伴うモジュラーパターンに従うことが判明した。
論文参考訳（メタデータ） (2024-09-04T17:01:02Z)
Model Composition for Multimodal Large Language Models [71.5729418523411]
本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
論文参考訳（メタデータ） (2024-02-20T06:38:10Z)
LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。 PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
論文参考訳（メタデータ） (2024-01-04T18:53:01Z)
Controlled Text Generation via Language Model Arithmetic [7.687678490751105]
本稿では,大規模言語モデルの合成とバイアス化のための新しい推論フレームワークであるモデル演算を導入する。モデル算術により生成したテキストのきめ細かい制御が可能であり, 毒性低減の課題において, 最先端の処理性能に優れることを示す。
論文参考訳（メタデータ） (2023-11-24T13:41:12Z)
StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。本研究は,各種データセットを対象とした総合的な実験を含む。
論文参考訳（メタデータ） (2023-08-20T12:43:52Z)
Generating Images with Multimodal Language Models [78.6660334861137]
本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
論文参考訳（メタデータ） (2023-05-26T19:22:03Z)
N-Grammer: Augmenting Transformers with latent n-grams [35.39961549040385]
本稿では,テキストシーケンスの離散潜在表現から構築したn-gramでモデルを拡張することにより,統計言語モデリングの文献に触発されたトランスフォーマーアーキテクチャの簡易かつ効果的な変更を提案する。我々は、C4データセットの言語モデリングにおけるN-GrammerモデルとSuperGLUEデータセットのテキスト分類を評価し、TransformerやPrimerといった強力なベースラインよりも優れていることを発見した。
論文参考訳（メタデータ） (2022-07-13T17:18:02Z)
Contrastive Learning for Source Code with Structural and Functional Properties [66.10710134948478]
本稿では,ソースコードの特徴に基づいて事前学習に焦点を当てた,新たな自己教師型モデルBOOSTを提案する。私たちは、機能的に等価なコードを生成する自動化された構造誘導型コード変換アルゴリズムを採用しています。私たちは、対照的な学習目標を通じて、機能的に等価なコードをより近く、異なるコードに近づける方法で、モデルをトレーニングします。
論文参考訳（メタデータ） (2021-10-08T02:56:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。