論文の概要: LLMs program using Reusable and Composable Abstract Representations

• arxiv url: http://arxiv.org/abs/2610.19238v1
• Date: Tue, 13 Oct 2026 21:56:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.822149
• Title: LLMs program using Reusable and Composable Abstract Representations
• Title（参考訳）: 再利用・構成可能な抽象表現を用いたLLMプログラム
• Abstract要約: 我々は、同じ計算を異なるプログラミング言語や異なる実装戦略で表現できることを示します。 合成環境では、共有、再利用可能な、構成可能な構造の最小限のモデルを実装し、これらの部品を柔軟に再利用するデータ学習表現を訓練したトランスフォーマーが示す。
• 参考スコア（独自算出の注目度）: 1.2686450494991202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When writing code, the same computation can be expressed in different programming languages and through different implementation strategies. We show that the activations of LLMs capture this shared structure in reusable and composable abstract representations when they generate code. These representations emerge in the middle layers, are reusable across programming languages, and afford the model an impressive amount of generalization ability when generating code under various interventions. Using activation steering, we show that function, programming language, and implementation strategy can be independently manipulated. The independent interventions on language and function can be flexibly composed to control code generation, even in cases when the prompt contains no information about language and function. We additionally find that finetuning on examples of arbitrarily defined functions in one programming language transfers to other languages, consistent with the models reusing abstract features of code generation that are shared across different examples. Finally, to study how such abstract representations come to be, we implement a minimal model of shared, reusable, and composable structure in a synthetic setting, and show that transformers trained on such data learn representations that reuse these parts flexibly across contexts.
• Abstract（参考訳）: コードを書くとき、同じ計算を異なるプログラミング言語や異なる実装戦略で表現することができる。 LLMのアクティベーションは、コードを生成する際に、再利用可能で構成可能な抽象表現で、この共有構造をキャプチャする。 これらの表現は中間層に現れ、プログラミング言語間で再利用でき、様々な介入の下でコードを生成する際に、驚くほど多くの一般化能力が得られる。 本稿では,アクティベーションステアリングを用いて,関数,プログラミング言語,実装戦略を独立に操作可能であることを示す。 言語と関数に対する独立した介入は、プロンプトが言語と関数に関する情報を含まない場合であっても、コード生成を制御するために柔軟に構成できる。 さらに、あるプログラミング言語で任意に定義された関数の例を他の言語に転送し、異なる例間で共有されるコード生成の抽象的特徴を再利用するモデルと整合する。 最後に、このような抽象表現がどのようになったかを研究するため、我々は、共用、再利用可能な、構成可能な構造の最小限のモデルを合成環境に実装し、これらの部分のコンテキストを柔軟に再利用するデータ学習表現を訓練したトランスフォーマーを示す。

関連論文リスト

• A Language for Describing Agentic LLM Contexts [24.406399255415113]
  Agentic Context Description Language (ACDL)は、コンテキストのアスペクトを指定するためのコンストラクトを提供する。 ACDLダイアグラムはホワイトボードで手書きしたり、形式言語で書かれて、描画することができる。 ツール、例、ドキュメントはwww.acdlang.orgで入手できる。
  論文  参考訳（メタデータ） (2026-05-03T15:02:44Z)
• On Code-Induced Reasoning in LLMs [21.875805779552564]
  並列命令データセットを10のプログラミング言語で構築する。 コードの構造的・意味的特性を選択的に破壊する制御摂動を適用する。 以上の結果から,LLMは意味論的よりも構造的摂動に弱いことが示唆された。
  論文  参考訳（メタデータ） (2025-09-25T19:57:36Z)
• Evaluating Programming Language Confusion [6.462594894731934]
  コードのための大規模言語モデル(Code LLM)は、ソフトウェア工学において大きな注目を集めている。 これらのモデルは、プログラミング概念の理解、アルゴリズムの実装、さらには異なるプログラミング言語のブリッジ化において、顕著な能力を示してきた。 これらの進歩にもかかわらず、コードLLMは、意図しない言語でコードを生成するために、しばしばプログラミング言語の混乱に苦しむ。
  論文  参考訳（メタデータ） (2025-03-17T18:14:15Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• LILO: Learning Interpretable Libraries by Compressing and Documenting Code [71.55208585024198]
  LILOは、反復的に合成、圧縮、文書化を行う、ニューロシンボリックなフレームワークである。 LILOは、LLM誘導プログラム合成と、Stitchから自動化された最近のアルゴリズムの進歩を組み合わせたものである。 LILOのシンセサイザーが学習した抽象化を解釈し、デプロイするのを手助けすることで、AutoDocがパフォーマンスを向上させることが分かりました。
  論文  参考訳（メタデータ） (2023-10-30T17:55:02Z)
• Code Representation Pre-training with Complements from Program Executions [29.148208436656216]
  テストケースで明らかになったプログラムの動的情報を調べ,それを補体としてコードの特徴表現に埋め込むために,FuzzPretrainを提案する。 FuzzyPretrainは、ソースコードやASTのみをトレーニングしたコード検索に対して、6%/9%のmAP改善を実現した。
  論文  参考訳（メタデータ） (2023-09-04T01:57:22Z)
• Leveraging Language to Learn Program Abstractions and Search Heuristics [66.28391181268645]
  LAPS(Language for Abstraction and Program Search)は、自然言語アノテーションを用いて、ライブラリとニューラルネットワークによる合成のための検索モデルの共同学習をガイドする手法である。 最先端のライブラリ学習システム(DreamCoder)に統合されると、LAPSは高品質なライブラリを生成し、検索効率と一般化を改善する。
  論文  参考訳（メタデータ） (2021-06-18T15:08:47Z)
• Language-Agnostic Representation Learning of Source Code from Structure and Context [43.99281651828355]
  ソースコードのコンテキストと構造を共同で学習する新しいモデルを提案する。 複数のプログラミング言語から非並列データを共同トレーニングすることで,個々の言語での結果が向上することを示す。
  論文  参考訳（メタデータ） (2021-03-21T06:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。