論文の概要: Eliciting Instruction-tuned Code Language Models' Capabilities to Utilize Auxiliary Function for Code Generation

• arxiv url: http://arxiv.org/abs/2409.13928v1
• Date: Fri, 20 Sep 2024 22:28:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 04:28:44.146677
• Title: Eliciting Instruction-tuned Code Language Models' Capabilities to Utilize Auxiliary Function for Code Generation
• Title（参考訳）: コード生成における補助関数を利用した命令学習型言語モデルの活用
• Authors: Seonghyeon Lee, Suyeon Kim, Joonwon Jang, Heejae Chon, Dongha Lee, Hwanjo Yu,
• Abstract要約: 本研究では,事前学習言語モデル上に構築された命令学習モデルのコード生成挙動について検討する。 我々は、クエリに追加したり、応答プレフィックスを提供したりすることで、モデルに補助機能を提供する方法をいくつか設計する。
• 参考スコア（独自算出の注目度）: 25.434546255499242
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We study the code generation behavior of instruction-tuned models built on top of code pre-trained language models when they could access an auxiliary function to implement a function. We design several ways to provide auxiliary functions to the models by adding them to the query or providing a response prefix to incorporate the ability to utilize auxiliary functions with the instruction-following capability. Our experimental results show the effectiveness of combining the base models' auxiliary function utilization ability with the instruction following ability. In particular, the performance of adopting our approaches with the open-sourced language models surpasses that of the recent powerful proprietary language models, i.e., gpt-4o.
• Abstract（参考訳）: 本稿では,コード事前学習言語モデル上に構築された命令学習モデルのコード生成挙動について検討する。 本稿では,クエリに追加したり,命令追従機能を備えた補助関数を組み込むための応答プレフィックスを提供することによって,モデルに補助関数を提供する方法をいくつか設計する。 実験の結果,基本モデルの補助的機能利用能力と命令追従能力の併用の有効性が示された。 特に、オープンソースの言語モデルで我々のアプローチを採用するパフォーマンスは、最近の強力なプロプライエタリな言語モデル、すなわちgpt-4oよりも優れています。

関連論文リスト

• Improving Instruction-Following in Language Models through Activation Steering [58.876600545898675]
  命令固有ベクトル表現を言語モデルから導出し,それに従ってモデルをステアリングする。 提案手法は,出力形式や長さ,単語の包摂といった制約に対するモデル適合性をいかに向上させるかを示す。 本研究は,アクティベーションステアリングが言語生成におけるきめ細かい制御に実用的でスケーラブルなアプローチを提供することを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:38:20Z)
• ELICIT: LLM Augmentation via External In-Context Capability [16.237679215248196]
  algは2つのモジュールからなるフレームワークで、タスクベクトルを効果的に保存し再利用する。 algは、モデル機能の適応的な適用を可能にするプラグイン・アンド・プレイパフォーマンス・ブースターとして機能する。
  論文  参考訳（メタデータ） (2024-10-12T03:19:06Z)
• Hammer: Robust Function-Calling for On-Device Language Models via Function Masking [26.495781685810044]
  Hammerはデバイス上での関数呼び出し用に特別に設計されたファンデーションモデルの新しいファミリーである。 我々の経験的評価は、ハマーがより大きなモデルを上回るだけでなく、様々なベンチマークで堅牢な一般化を示すことを示している。
  論文  参考訳（メタデータ） (2024-10-06T18:57:46Z)
• Exploring Language Model's Code Generation Ability with Auxiliary Functions [25.951695685705637]
  近年のコード予測言語モデルで符号化された補助関数を利用する能力を総合的に評価する。 分析の結果,補助関数を呼ぶためのモデルの不使用な動作が明らかになった。
  論文  参考訳（メタデータ） (2024-03-15T04:41:50Z)
• Functionality learning through specification instructions [2.4095382017500464]
  テストスイートは、自然言語処理モデルのパフォーマンスを特定の機能で評価する。 本稿では,細粒度タスク固有の振る舞いを記述したテキスト記述について述べる。 我々は、仕様記述と仕様拡張プロンプトを組み合わせ、自然の命令データに基づいて事前訓練された言語モデルにフィードする。
  論文  参考訳（メタデータ） (2023-11-14T19:15:55Z)
• Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
  サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。 本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
  論文  参考訳（メタデータ） (2022-10-20T06:00:45Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
  まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。 マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。 実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:48:06Z)
• Offline RL for Natural Language Generation with Implicit Language Q Learning [87.76695816348027]
  ユーザ指定タスクの完了に関して、大きな言語モデルは矛盾する可能性がある。 本稿では,RLのフレキシブル・ユーティリティ・フレームワークと教師あり学習能力を組み合わせた新しいRL手法を提案する。 ILQLの実証的な検証に加えて、オフラインRLが自然言語生成設定で有用となるような、詳細な経験的分析状況も提示する。
  論文  参考訳（メタデータ） (2022-06-05T18:38:42Z)
• Generative Adversarial Reward Learning for Generalized Behavior Tendency Inference [71.11416263370823]
  ユーザの行動嗜好モデルのための生成的逆強化学習を提案する。 我々のモデルは,差別的アクター批判ネットワークとWasserstein GANに基づいて,ユーザの行動から報酬を自動的に学習することができる。
  論文  参考訳（メタデータ） (2021-05-03T13:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。