論文の概要: Personalization of Code Readability Evaluation Based on LLM Using Collaborative Filtering

• arxiv url: http://arxiv.org/abs/2411.10583v1
• Date: Fri, 15 Nov 2024 21:09:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:34:58.878488
• Title: Personalization of Code Readability Evaluation Based on LLM Using Collaborative Filtering
• Title（参考訳）: 協調フィルタリングを用いたLLMに基づくコードの可読性評価のパーソナライズ
• Authors: Buntaro Hiraki, Kensei Hamamoto, Ami Kimura, Masateru Tsunoda, Amjed Tahir, Kwabena Ebo Bennin, Akito Monden, Keitaro Nakasai,
• Abstract要約: 本研究では,協調フィルタリングを用いて評価を校正する手法を提案する。 予備分析の結果,LLMを用いた可読性評価の精度を効果的に向上することが示唆された。
• 参考スコア（独自算出の注目度）: 1.3762029229297472
• License:
• Abstract: Code readability is an important indicator of software maintenance as it can significantly impact maintenance efforts. Recently, LLM (large language models) have been utilized for code readability evaluation. However, readability evaluation differs among developers, so personalization of the evaluation by LLM is needed. This study proposes a method which calibrates the evaluation, using collaborative filtering. Our preliminary analysis suggested that the method effectively enhances the accuracy of the readability evaluation using LLMs.
• Abstract（参考訳）: コードの可読性はソフトウェアのメンテナンスにとって重要な指標です。 近年,LLM(大規模言語モデル)がコードの可読性評価に利用されている。 しかし、可読性の評価は開発者によって異なるため、LCMによる評価のパーソナライズが必要である。 本研究では,協調フィルタリングを用いて評価を校正する手法を提案する。 予備分析の結果,LLMを用いた可読性評価の精度を効果的に向上することが示唆された。

関連論文リスト

• ReIFE: Re-evaluating Instruction-Following Evaluation [105.75525154888655]
  本稿では,25基のLDMと15の提案された評価プロトコルを含む,命令の完全なメタ評価について述べる。 評価により,高いロバスト性を有する最良性能のLCMと評価プロトコルを同定できる。
  論文  参考訳（メタデータ） (2024-10-09T17:14:50Z)
• CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
  データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。 評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。 コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-07-15T07:43:55Z)
• Decompose and Aggregate: A Step-by-Step Interpretable Evaluation Framework [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• AI-powered Code Review with LLMs: Early Results [10.37036924997437]
  本稿では,Large Language Model (LLM) ベースのモデルを用いて,ソフトウェアの品質と効率を改善する新しい手法を提案する。 提案するLLMベースのAIエージェントモデルは,大規模コードリポジトリ上でトレーニングされている。 コードの臭いを検出し、潜在的なバグを特定し、改善の提案を提供し、コードを最適化することを目的としている。
  論文  参考訳（メタデータ） (2024-04-29T08:27:50Z)
• Code Needs Comments: Enhancing Code LLMs with Comment Augmentation [91.52444946362547]
  本稿では、既存のコードに対するコメントを生成する新しいデータ拡張手法と、自然言語と相関の低いコードデータをフィルタリングするデータフィルタリング戦略を導入する。 我々は3つのコード中心の大規模言語モデルの実験を行い、2つの広く使われているプログラミングスキルベンチマークで一貫した性能向上を観察した。
  論文  参考訳（メタデータ） (2024-02-20T13:56:38Z)
• Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
  エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
  論文  参考訳（メタデータ） (2024-01-30T07:03:32Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• ALLURE: Auditing and Improving LLM-based Evaluation of Text using Iterative In-Context-Learning [7.457517083017178]
  大規模言語モデル(LLM)は、人間やAIが生成するテキストの評価に使用される。 実用性にもかかわらず、LSMは異なる障害モードを示し、徹底的な監査とテキスト評価機能の改善が必要である。 ここでは、大規模な言語モデルを理解するための体系的なアプローチであるALLUREを紹介します。
  論文  参考訳（メタデータ） (2023-09-24T17:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。