論文の概要: Exploring Language Model's Code Generation Ability with Auxiliary Functions
- arxiv url: http://arxiv.org/abs/2403.10575v1
- Date: Fri, 15 Mar 2024 04:41:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 22:55:17.969585
- Title: Exploring Language Model's Code Generation Ability with Auxiliary Functions
- Title(参考訳): 補助関数を用いた言語モデルのコード生成能力の探索
- Authors: Seonghyeon Lee, Sanghwan Jang, Seongbo Jang, Dongha Lee, Hwanjo Yu,
- Abstract要約: 近年のコード予測言語モデルで符号化された補助関数を利用する能力を総合的に評価する。
分析の結果,補助関数を呼ぶためのモデルの不使用な動作が明らかになった。
- 参考スコア(独自算出の注目度): 25.951695685705637
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Auxiliary function is a helpful component to improve language model's code generation ability. However, a systematic exploration of how they affect has yet to be done. In this work, we comprehensively evaluate the ability to utilize auxiliary functions encoded in recent code-pretrained language models. First, we construct a human-crafted evaluation set, called HumanExtension, which contains examples of two functions where one function assists the other. With HumanExtension, we design several experiments to examine their ability in a multifaceted way. Our evaluation processes enable a comprehensive understanding of including auxiliary functions in the prompt in terms of effectiveness and robustness. An additional implementation style analysis captures the models' various implementation patterns when they access the auxiliary function. Through this analysis, we discover the models' promising ability to utilize auxiliary functions including their self-improving behavior by implementing the two functions step-by-step. However, our analysis also reveals the model's underutilized behavior to call the auxiliary function, suggesting the future direction to enhance their implementation by eliciting the auxiliary function call ability encoded in the models. We release our code and dataset to facilitate this research direction.
- Abstract(参考訳): 補助関数は、言語モデルのコード生成能力を改善するのに役立つコンポーネントである。
しかし、それらがどのように影響するかの体系的な調査はまだ行われていない。
本研究では,近年のコード予測言語モデルで符号化された補助関数を利用する能力について,包括的に評価する。
まず,1つの関数が他方を補助する2つの関数の例を含むヒューマンエクステンション(HumanExtension)と呼ばれる人為的な評価セットを構築する。
我々はHumanExtensionを用いて、複数の実験を設計し、その能力を多面的に検証する。
我々の評価プロセスは、有効性と堅牢性の観点から、プロンプトに補助関数を含める包括的な理解を可能にする。
追加の実装スタイル分析は、補助関数にアクセスする際にモデルの様々な実装パターンをキャプチャする。
この分析により,2つの関数を段階的に実装することで,自己改善動作を含む補助機能を利用するモデルの有望な能力を明らかにする。
しかし,本分析では,補助関数を呼出する不便な動作も明らかにしており,モデルに符号化された補助関数呼び出し能力を引き出すことで,その実装の今後の方向性を示唆している。
この研究の方向性を促進するために、コードとデータセットをリリースします。
関連論文リスト
- Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
本稿ではスパース特徴回路の発見と適用方法を紹介する。
これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
論文 参考訳(メタデータ) (2024-03-28T17:56:07Z) - Compositional learning of functions in humans and machines [23.583544271543033]
我々は,構成関数を用いた学習と推論において,人間とニューラルネットワークモデルの能力を探るための関数学習パラダイムを開発する。
その結果,人間は相互作用条件をまたいだ新しい視覚機能合成をゼロショットで一般化できることが示唆された。
同じタスクにおけるニューラルネットワークモデルとの比較により、合成性(MLC)アプローチのメタラーニングを通じて、標準的なシーケンス対シーケンス変換器は、構成関数における人間の一般化パターンを模倣することができることが明らかになった。
論文 参考訳(メタデータ) (2024-03-18T19:22:53Z) - FIND: A Function Description Benchmark for Evaluating Interpretability
Methods [86.80718559904854]
本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。
FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。
本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
論文 参考訳(メタデータ) (2023-09-07T17:47:26Z) - A Functional approach for Two Way Dimension Reduction in Time Series [13.767812547998735]
機能的エンコーダと機能的デコーダからなる非線形関数オンファンクション手法を提案する。
提案手法は,関数が観測される時間点だけでなく,機能的特徴の数を減らし,低次元の潜在表現を与える。
論文 参考訳(メタデータ) (2023-01-01T06:09:15Z) - Latent SHAP: Toward Practical Human-Interpretable Explanations [44.28376542666342]
人間の解釈可能な説明を提供するブラックボックス機能属性フレームワークであるLatent SHAPを紹介する。
本研究では,(1)可逆変換関数が利用できる制御実験により,提案手法の堅牢な定量的評価を可能にすること,(2)可逆変換関数が利用できないセレブの魅力度分類(CelebAデータセットを用いた)を用いて,遅延SHAPの有効性を実証する。
論文 参考訳(メタデータ) (2022-11-27T11:33:26Z) - Neural Estimation of Submodular Functions with Applications to
Differentiable Subset Selection [50.14730810124592]
サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。
本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
論文 参考訳(メタデータ) (2022-10-20T06:00:45Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳(メタデータ) (2022-10-03T07:59:42Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - Neural Network Approximation of Refinable Functions [8.323468006516018]
本研究では, 深部ReLUネットワークの出力幅が一定であり, 精度指数で深部を増大させることにより, 精錬可能関数が近似可能であることを示す。
本研究は,ウェーブレットの標準構成に使用される関数と,コンピュータ支援幾何設計における部分分割アルゴリズムを用いて構築される関数に適用する。
論文 参考訳(メタデータ) (2021-07-28T06:45:36Z) - Explaining Black Box Predictions and Unveiling Data Artifacts through
Influence Functions [55.660255727031725]
影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。
本稿では,代表課題における影響関数と共通単語順応法の比較を行う。
我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
論文 参考訳(メタデータ) (2020-05-14T00:45:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。