論文の概要: Exploring Language Model's Code Generation Ability with Auxiliary Functions

• arxiv url: http://arxiv.org/abs/2403.10575v1
• Date: Fri, 15 Mar 2024 04:41:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 22:55:17.969585
• Title: Exploring Language Model's Code Generation Ability with Auxiliary Functions
• Title（参考訳）: 補助関数を用いた言語モデルのコード生成能力の探索
• Authors: Seonghyeon Lee, Sanghwan Jang, Seongbo Jang, Dongha Lee, Hwanjo Yu,
• Abstract要約: 近年のコード予測言語モデルで符号化された補助関数を利用する能力を総合的に評価する。 分析の結果,補助関数を呼ぶためのモデルの不使用な動作が明らかになった。
• 参考スコア（独自算出の注目度）: 25.951695685705637
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Auxiliary function is a helpful component to improve language model's code generation ability. However, a systematic exploration of how they affect has yet to be done. In this work, we comprehensively evaluate the ability to utilize auxiliary functions encoded in recent code-pretrained language models. First, we construct a human-crafted evaluation set, called HumanExtension, which contains examples of two functions where one function assists the other. With HumanExtension, we design several experiments to examine their ability in a multifaceted way. Our evaluation processes enable a comprehensive understanding of including auxiliary functions in the prompt in terms of effectiveness and robustness. An additional implementation style analysis captures the models' various implementation patterns when they access the auxiliary function. Through this analysis, we discover the models' promising ability to utilize auxiliary functions including their self-improving behavior by implementing the two functions step-by-step. However, our analysis also reveals the model's underutilized behavior to call the auxiliary function, suggesting the future direction to enhance their implementation by eliciting the auxiliary function call ability encoded in the models. We release our code and dataset to facilitate this research direction.
• Abstract（参考訳）: 補助関数は、言語モデルのコード生成能力を改善するのに役立つコンポーネントである。 しかし、それらがどのように影響するかの体系的な調査はまだ行われていない。 本研究では,近年のコード予測言語モデルで符号化された補助関数を利用する能力について,包括的に評価する。 まず,1つの関数が他方を補助する2つの関数の例を含むヒューマンエクステンション(HumanExtension)と呼ばれる人為的な評価セットを構築する。 我々はHumanExtensionを用いて、複数の実験を設計し、その能力を多面的に検証する。 我々の評価プロセスは、有効性と堅牢性の観点から、プロンプトに補助関数を含める包括的な理解を可能にする。 追加の実装スタイル分析は、補助関数にアクセスする際にモデルの様々な実装パターンをキャプチャする。 この分析により,2つの関数を段階的に実装することで,自己改善動作を含む補助機能を利用するモデルの有望な能力を明らかにする。 しかし,本分析では,補助関数を呼出する不便な動作も明らかにしており,モデルに符号化された補助関数呼び出し能力を引き出すことで,その実装の今後の方向性を示唆している。 この研究の方向性を促進するために、コードとデータセットをリリースします。

関連論文リスト

• Eliciting Instruction-tuned Code Language Models' Capabilities to Utilize Auxiliary Function for Code Generation [25.434546255499242]
  本研究では,事前学習言語モデル上に構築された命令学習モデルのコード生成挙動について検討する。 我々は、クエリに追加したり、応答プレフィックスを提供したりすることで、モデルに補助機能を提供する方法をいくつか設計する。
  論文  参考訳（メタデータ） (2024-09-20T22:28:20Z)
• Adaptive Language-Guided Abstraction from Contrastive Explanations [53.48583372522492]
  報酬を計算するためにこれらの特徴をどのように使うべきかを決定する前に、環境のどの特徴が関係しているかを決定する必要がある。 連立特徴と報奨学習のためのエンドツーエンドの手法は、しばしば、刺激的な状態特徴に敏感な脆い報酬関数をもたらす。 本稿では,言語モデルを用いて人間に意味のある特徴を反復的に識別するALGAEという手法について述べる。
  論文  参考訳（メタデータ） (2024-09-12T16:51:58Z)
• Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
  本稿ではスパース特徴回路の発見と適用方法を紹介する。 これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
  論文  参考訳（メタデータ） (2024-03-28T17:56:07Z)
• FIND: A Function Description Benchmark for Evaluating Interpretability Methods [86.80718559904854]
  本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。 FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。 本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
  論文  参考訳（メタデータ） (2023-09-07T17:47:26Z)
• A Functional approach for Two Way Dimension Reduction in Time Series [13.767812547998735]
  機能的エンコーダと機能的デコーダからなる非線形関数オンファンクション手法を提案する。 提案手法は,関数が観測される時間点だけでなく,機能的特徴の数を減らし,低次元の潜在表現を与える。
  論文  参考訳（メタデータ） (2023-01-01T06:09:15Z)
• Latent SHAP: Toward Practical Human-Interpretable Explanations [44.28376542666342]
  人間の解釈可能な説明を提供するブラックボックス機能属性フレームワークであるLatent SHAPを紹介する。 本研究では,(1)可逆変換関数が利用できる制御実験により,提案手法の堅牢な定量的評価を可能にすること,(2)可逆変換関数が利用できないセレブの魅力度分類(CelebAデータセットを用いた)を用いて,遅延SHAPの有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-27T11:33:26Z)
• Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
  サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。 本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
  論文  参考訳（メタデータ） (2022-10-20T06:00:45Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Neural Network Approximation of Refinable Functions [8.323468006516018]
  本研究では, 深部ReLUネットワークの出力幅が一定であり, 精度指数で深部を増大させることにより, 精錬可能関数が近似可能であることを示す。 本研究は,ウェーブレットの標準構成に使用される関数と,コンピュータ支援幾何設計における部分分割アルゴリズムを用いて構築される関数に適用する。
  論文  参考訳（メタデータ） (2021-07-28T06:45:36Z)
• Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions [55.660255727031725]
  影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。 本稿では,代表課題における影響関数と共通単語順応法の比較を行う。 我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
  論文  参考訳（メタデータ） (2020-05-14T00:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。