論文の概要: Instructive Code Retriever: Learn from Large Language Model's Feedback for Code Intelligence Tasks

• arxiv url: http://arxiv.org/abs/2410.11300v1
• Date: Tue, 15 Oct 2024 05:44:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:29.164670
• Title: Instructive Code Retriever: Learn from Large Language Model's Feedback for Code Intelligence Tasks
• Title（参考訳）: インストラクティブなコード検索:大規模言語モデルによるコードインテリジェンスタスクのフィードバックから学ぶ
• Authors: Jiawei Lu, Haoye Wang, Zhongxin Liu, Keyu Liang, Lingfeng Bao, Xiaohu Yang,
• Abstract要約: Instructive Code Retriever (ICR) という新しいアプローチを導入する。 ICRは、さまざまなコードインテリジェンスタスクやデータセットにわたるモデル推論を強化するサンプルを取得するように設計されている。 我々は,コード要約,プログラム合成,バグ修正など,様々なタスクにおけるモデルの有効性を評価する。
• 参考スコア（独自算出の注目度）: 10.867880635762395
• License:
• Abstract: Recent studies proposed to leverage large language models (LLMs) with In-Context Learning (ICL) to handle code intelligence tasks without fine-tuning. ICL employs task instructions and a set of examples as demonstrations to guide the model in generating accurate answers without updating its parameters. While ICL has proven effective for code intelligence tasks, its performance heavily relies on the selected examples. Previous work has achieved some success in using BM25 to retrieve examples for code intelligence tasks. However, existing approaches lack the ability to understand the semantic and structural information of queries, resulting in less helpful demonstrations. Moreover, they do not adapt well to the complex and dynamic nature of user queries in diverse domains. In this paper, we introduce a novel approach named Instructive Code Retriever (ICR), which is designed to retrieve examples that enhance model inference across various code intelligence tasks and datasets. We enable ICR to learn the semantic and structural information of the corpus by a tree-based loss function. To better understand the correlation between queries and examples, we incorporate the feedback from LLMs to guide the training of the retriever. Experimental results demonstrate that our retriever significantly outperforms state-of-the-art approaches. We evaluate our model's effectiveness on various tasks, i.e., code summarization, program synthesis, and bug fixing. Compared to previous state-of-the-art algorithms, our method achieved improvements of 50.0% and 90.0% in terms of BLEU-4 for two code summarization datasets, 74.6% CodeBLEU on program synthesis dataset, and increases of 3.6 and 3.2 BLEU-4 on two bug fixing datasets.
• Abstract（参考訳）: 近年の研究では、大規模言語モデル(LLM)とインコンテキスト学習(ICL)を併用して、微調整なしでコードインテリジェンスタスクを処理する方法が提案されている。 ICLは、パラメータを更新せずに正確な回答を生成する際にモデルを導くために、タスク命令と一連の例をデモとして採用している。 ICLはコードインテリジェンスタスクに有効であることが証明されているが、そのパフォーマンスは選択した例に大きく依存している。 これまでの作業は、BM25を使ってコードインテリジェンスタスクの例を検索することに成功した。 しかし、既存のアプローチでは、クエリのセマンティックな情報や構造的な情報を理解する能力が欠如しているため、あまり役に立たない。 さらに、多様なドメインにおけるユーザクエリの複雑で動的な性質に順応することができない。 本稿では,インストラクティブ・コード・レトリバー(ICR, Instructive Code Retriever)という新しい手法を提案する。 我々はICRが木に基づく損失関数によってコーパスの意味と構造情報を学習できるようにする。 クエリと例の相関関係をよりよく理解するために,LLMからのフィードバックを取り入れて,検索者のトレーニングを指導する。 実験結果から, 回収装置は最先端の手法よりも優れていたことが確認された。 我々は,コード要約,プログラム合成,バグ修正など,様々なタスクにおけるモデルの有効性を評価する。 従来の最先端アルゴリズムと比較して,2つのコード要約データセットのBLEU-4では50.0%と90.0%,プログラム合成データセットでは74.6%,バグ修正データセットでは3.6と3.2のBLEU-4が向上した。

関連論文リスト

• Enhancing Input-Label Mapping in In-Context Learning with Contrastive Decoding [71.01099784480597]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、様々なタスクで優れる In-Context Contrastive Decoding (ICCD)を導入する。 ICCDは、正と負のインコンテキストの例の出力分布を対比することで、入力ラベルマッピングを強調する。
  論文  参考訳（メタデータ） (2025-02-19T14:04:46Z)
• Optimizing Datasets for Code Summarization: Is Code-Comment Coherence Enough? [11.865113785648932]
  コード要約の特定の品質属性であるコード圧縮コヒーレンスが、コードの要約データセットの最適化にどの程度利用できるかを検討する。 2つの最先端データセット(TL-CodeSumとFuncom)から複数のレベルのトレーニングインスタンスを調べ、3つの手作業によるテストセット上で結果モデルを評価する。
  論文  参考訳（メタデータ） (2025-02-11T15:02:19Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Visual RAG: Expanding MLLM visual knowledge without fine-tuning [5.341192792319891]
  本稿では、文脈から学習するMLLMの機能と検索機構を相乗的に組み合わせたVisual RAGを紹介する。 このようにして、得られたシステムは、トレーニングデータから抽出した知識に限らず、微調整なしで、迅速かつ容易に更新できる。 モデル画像分類性能を改善するための計算コストを大幅に削減し、トレーニングされていない新しい視覚領域やタスクにモデル知識を拡大する。
  論文  参考訳（メタデータ） (2025-01-18T17:43:05Z)
• Learning to Retrieve Iteratively for In-Context Learning [56.40100968649039]
  イテレーティブ検索は、ポリシー最適化によるイテレーティブな意思決定を可能にする、新しいフレームワークである。 テキスト内学習例を構成するための反復型検索器をインスタンス化し,様々な意味解析タスクに適用する。 ステートエンコーディングのためのパラメータを4M追加するだけで、オフザシェルフの高密度レトリバーをステートフル反復レトリバーに変換する。
  論文  参考訳（メタデータ） (2024-06-20T21:07:55Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• DeTriever: Decoder-representation-based Retriever for Improving NL2SQL In-Context Learning [19.93800175353809]
  DeTrieverは、隠れた状態の重み付けを学習する新しいデモ検索フレームワークである。 提案手法は1ショットNL2タスクにおける最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2024-06-12T06:33:54Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• What Makes Good In-context Demonstrations for Code Intelligence Tasks with LLMs? [60.668318972782295]
  大規模言語モデルは、文脈内学習(ICL)の能力を示している。 ICLはタスク命令といくつかの例をデモとして使用し、次に予測を行うために言語モデルにデモを入力します。 コードに関連するタスクに対して,優れたデモを構築する方法について,体系的に検討することが重要である。
  論文  参考訳（メタデータ） (2023-04-15T15:13:58Z)
• Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning [18.354352985591305]
  コード要約は、ソースコードスニペットが与えられた短い自然言語記述を生成し、コード検索は、自然言語クエリが与えられた関連するソースコードを取得する。 最近の研究は、これらの2つのタスクを組み合わせてパフォーマンスを改善している。 本稿では,新たなコード生成タスクを導入することによって,2つのタスクのエンド・ツー・エンド・モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-24T12:26:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。