論文の概要: Optimizing Alignment with Less: Leveraging Data Augmentation for Personalized Evaluation

• arxiv url: http://arxiv.org/abs/2412.07429v1
• Date: Tue, 10 Dec 2024 11:40:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:39:14.632559
• Title: Optimizing Alignment with Less: Leveraging Data Augmentation for Personalized Evaluation
• Title（参考訳）: 最小限のアライメントの最適化: 個人化評価のためのデータ拡張の活用
• Authors: Javad Seraj, Mohammad Mahdi Mohajeri, Mohammad Javad Dousti, Majid Nili Ahmadabadi,
• Abstract要約: オープンなLCMを人間の好みに合わせるために、限られたデータからより効果的なサンプルを選択するためのデータ拡張手法を提案する。 本研究はPearsonの基準値に対する基準値との相関を約7%改善する。
• 参考スコア（独自算出の注目度）: 2.933641361932625
• License:
• Abstract: Automatic evaluation by large language models (LLMs) is a prominent topic today; however, judgment and evaluation tasks are often subjective and influenced by various factors, making adaptation challenging. While many studies demonstrate the capabilities of state-of-the-art proprietary LLMs in comparison to human evaluators, they often struggle to adapt to reference evaluators over time, a requirement for achieving personalized judgment. Additionally, numerous works have attempted to apply open LLMs as judges or evaluators, but these efforts frequently overlook the limitations of working with scarce data. Personalized judgment is inherently associated with limited data scenarios, which are common in many real-world problems. Our work aims to present a data augmentation technique to select a more effective sample from limited data in order to align an open LLM with human preference. Our work achieves approximately 7% improvements in Pearson correlation with a reference judge over the baseline,and 30% improvement over the base model (Llama3.1-8B-Instruct) in the mathematical reasoning evaluation task. demonstrating that augmenting selecting more effective preference data enables our approach to surpass baseline methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)による自動評価は、今日では顕著な話題となっているが、判断および評価タスクは、しばしば様々な要因の影響を受け、適応が困難である。 多くの研究は、人間の評価者と比較して最先端のプロプライエタリなLCMの能力を実証しているが、それはパーソナライズされた判断を達成するための要件である、時間とともに参照評価者に対応するのに苦慮している。 さらに、多くの研究が審査員や評価官としてオープン LLM を適用しようと試みているが、これらの取り組みは少ないデータを扱う限界をしばしば見落としている。 パーソナライズされた判断は、多くの実世界の問題に共通する限られたデータシナリオと本質的に関連している。 本研究の目的は,オープンLLMを人間の好みに合わせるために,限られたデータからより効果的なサンプルを選択するデータ拡張手法を提案することである。 本研究は,Pearsonの基準値に対する基準値との相関を約7%改善し,基礎モデル(Llama3.1-8B-Instruct)よりも30%改善した。 より効果的な選好データを選択することで、ベースライン手法を超えることができることを示す。

関連論文リスト

• Optimizing LLMs with Direct Preferences: A Data Efficiency Perspective [4.548047308860141]
  本研究では,異なる種類の嗜好データがモデル性能に与える影響について検討する。 収集に費用がかかる大量の好みデータへの依存を減らすことを目的としている。
  論文  参考訳（メタデータ） (2024-10-22T00:11:41Z)
• Direct Judgement Preference Optimization [66.83088028268318]
  我々は、他のモデルのアウトプットを評価し、批判するために、生成的判断として大きな言語モデル(LLM)を訓練する。 我々は,異なるユースケースに対する選好ペアの収集に3つのアプローチを採用し,それぞれが異なる視点から生成判断を改善することを目的としている。 提案モデルは,位置や長さの偏りなどの固有バイアスに強く対応し,実践者が指定した評価プロトコルに柔軟に適用し,下流ジェネレータモデルを改善する上で有用な言語フィードバックを提供する。
  論文  参考訳（メタデータ） (2024-09-23T02:08:20Z)
• Polyrating: A Cost-Effective and Bias-Aware Rating System for LLM Evaluation [5.653106385738822]
  ポリーティング(Polyrating)は、最大後方推定に基づく表現的かつ柔軟な評価システムである。 人間の嗜好に影響を与えるバイアスを検出し定量化し、より公平なモデル比較を保証する。 人的評価のコストを、新しいモデルで最大41%、新しいタスクで最大77%削減することができる。
  論文  参考訳（メタデータ） (2024-09-01T11:24:54Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Persona-DB: Efficient Large Language Model Personalization for Response Prediction with Collaborative Data Refinement [79.2400720115588]
  本稿では,タスクコンテキスト間の一般化を改善するための階層的な構築プロセスからなる,シンプルで効果的なフレームワークであるPersona-DBを紹介する。 応答予測の評価において,Persona-DB は精度を著しく低減した検索サイズで維持する上で,より優れたコンテキスト効率を示す。 我々の実験は、ユーザーが極めて少ないデータを持つ場合、コールドスタートシナリオで10%以上の顕著な改善が示されていることも示している。
  論文  参考訳（メタデータ） (2024-02-16T20:20:43Z)
• F-Eval: Assessing Fundamental Abilities with Refined Evaluation Methods [102.98899881389211]
  F-Evalは、表現、常識、論理などの基本能力を評価するためのバイリンガル評価ベンチマークである。 参照不要な主観的タスクに対しては,APIモデルによるスコアの代替として,新たな評価手法を考案する。
  論文  参考訳（メタデータ） (2024-01-26T13:55:32Z)
• Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
  大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。 モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。 評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
  論文  参考訳（メタデータ） (2023-11-03T14:59:54Z)
• Which Prompts Make The Difference? Data Prioritization For Efficient Human LLM Evaluation [9.452326973655445]
  計量に基づく手法は,必要なアノテーションの数を最小化することで,人間の評価の効率を向上させる。 提案手法は,広く用いられているモデルファミリに対して有効であり,非決定的(あるいは"tie")な結果のインスタンスを最大54%削減できることを示す。 この人的努力の潜在的な削減は、我々のアプローチを将来の大規模言語モデル評価における貴重な戦略として位置づけている。
  論文  参考訳（メタデータ） (2023-10-22T21:48:51Z)
• Do LLMs Understand User Preferences? Evaluating LLMs On User Rating Prediction [15.793007223588672]
  大規模言語モデル(LLM)は、ゼロショットまたは少数ショットの方法で新しいタスクに一般化する際、例外的な機能を示した。 我々は,2億5000万から540Bのパラメータを多種多様なサイズで検討し,その性能をゼロショット,少数ショット,微調整のシナリオで評価した。
  論文  参考訳（メタデータ） (2023-05-10T21:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。