Fugu-MT 論文翻訳(概要): A RAG Method for Source Code Inquiry Tailored to Long-Context LLMs

論文の概要: A RAG Method for Source Code Inquiry Tailored to Long-Context LLMs

arxiv url: http://arxiv.org/abs/2404.06082v1
Date: Tue, 9 Apr 2024 07:40:37 GMT
ステータス: 処理完了
システム内更新日: 2024-04-10 15:39:15.362773
Title: A RAG Method for Source Code Inquiry Tailored to Long-Context LLMs
Title（参考訳）: 長期LLMを考慮したソースコード探索のためのRAG法
Authors: Toshihiro Kamiya,
Abstract要約: 本研究では,ソースコードに関する質問に対して,実行トレースをRAGに組み込む手法を提案する。小型実験により, LLM応答品質の向上に寄与する傾向が確認された。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although the context length limitation of large language models (LLMs) has been mitigated, it still hinders their application to software development tasks. This study proposes a method incorporating execution traces into RAG for inquiries about source code. Small-scale experiments confirm a tendency for the method to contribute to improving LLM response quality.
Abstract（参考訳）: 大規模言語モデル(LLM)のコンテキスト長制限は緩和されているが、ソフトウェア開発タスクへの適用を妨げている。本研究では,ソースコードに関する質問に対して,実行トレースをRAGに組み込む手法を提案する。小型実験により, LLM応答品質の向上に寄与する傾向が確認された。

関連論文リスト

RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning [35.446870721902904]
エージェントとしてデプロイされる大規模言語モデル(LLM)は、必要な手動のエンゲージメントを最小限に抑えながら、複数のステップでユーザ指定タスクを解決する。コード合成の領域における実行フィードバックを活用するためのモデル学習のためのエンドツーエンド強化学習手法を提案する。
論文参考訳（メタデータ） (2024-10-02T23:25:17Z)
Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
RAGは大規模言語モデル(LLM)を強化するために広く採用されている。分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
論文参考訳（メタデータ） (2024-07-01T20:47:47Z)
Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文参考訳（メタデータ） (2024-06-20T13:08:09Z)
Improving Retrieval for RAG based Question Answering Models on Financial Documents [0.046603287532620746]
本稿では,RAGパイプラインの既存の制約について検討し,テキスト検索の方法を紹介する。高度なチャンキングテクニック、クエリ拡張、メタデータアノテーションの組み込み、再ランク付けアルゴリズムの適用、埋め込みアルゴリズムの微調整などの戦略を練っている。
論文参考訳（メタデータ） (2024-03-23T00:49:40Z)
Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
論文参考訳（メタデータ） (2024-02-28T08:24:38Z)
A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
論文参考訳（メタデータ） (2024-02-10T11:14:53Z)
StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文参考訳（メタデータ） (2024-02-02T13:14:31Z)
Extending Context Window of Large Language Models via Semantic Compression [21.35020344956721]
大規模言語モデル(LLM)は、しばしば、流動的で関連する応答の生成を保証するために、テキスト入力の長さに制限を課す。本稿では,テキストを6～8倍長大に一般化するセマンティック圧縮手法を提案する。
論文参考訳（メタデータ） (2023-12-15T07:04:33Z)
Breaking the Silence: the Threats of Using LLMs in Software Engineering [12.368546216271382]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)コミュニティ内で大きな注目を集めています。本稿では,LSMに基づく研究の有効性に対する潜在的な脅威について,オープンな議論を開始する。
論文参考訳（メタデータ） (2023-12-13T11:02:19Z)
LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文参考訳（メタデータ） (2023-11-13T15:08:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。