論文の概要: Raising the Bar: Investigating the Values of Large Language Models via Generative Evolving Testing

• arxiv url: http://arxiv.org/abs/2406.14230v3
• Date: Mon, 03 Feb 2025 10:33:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:08:14.697881
• Title: Raising the Bar: Investigating the Values of Large Language Models via Generative Evolving Testing
• Title（参考訳）: バーを高くする - ジェネレーティブ進化テストによる大規模言語モデルの価値の調査
• Authors: Han Jiang, Xiaoyuan Yi, Zhihua Wei, Ziang Xiao, Shu Wang, Xing Xie,
• Abstract要約: 本稿では,測定理論における適応試験法に基づく新しい生成的進化試験手法であるGAAを提案する。 GETAはモデル能力に適したテスト項目を動的に生成することで、LLMの根底にある道徳的境界を探索する。 GETAは、アイテムの難易度とモデル値の整合性の連成分布を学習することでLLMと共進化する。
• 参考スコア（独自算出の注目度）: 39.6507632134755
• License:
• Abstract: Warning: Contains harmful model outputs. Despite significant advancements, the propensity of Large Language Models (LLMs) to generate harmful and unethical content poses critical challenges. Measuring value alignment of LLMs becomes crucial for their regulation and responsible deployment. Although numerous benchmarks have been constructed to assess social bias, toxicity, and ethical issues in LLMs, those static benchmarks suffer from evaluation chronoeffect, in which, as models rapidly evolve, existing benchmarks may leak into training data or become saturated, overestimating ever-developing LLMs. To tackle this problem, we propose GETA, a novel generative evolving testing approach based on adaptive testing methods in measurement theory. Unlike traditional adaptive testing methods that rely on a static test item pool, GETA probes the underlying moral boundaries of LLMs by dynamically generating test items tailored to model capability. GETA co-evolves with LLMs by learning a joint distribution of item difficulty and model value conformity, thus effectively addressing evaluation chronoeffect. We evaluated various popular LLMs with GETA and demonstrated that 1) GETA can dynamically create difficulty-tailored test items and 2) GETA's evaluation results are more consistent with models' performance on unseen OOD and i.i.d. items, laying the groundwork for future evaluation paradigms.
• Abstract（参考訳）: 警告: 有害なモデル出力を含む。 大きな言語モデル(LLM)が有害で非倫理的なコンテンツを生み出すことの妥当性は重大な課題である。 LLMの価値アライメントを測定することは、その規制と責任あるデプロイメントにとって不可欠である。 LLMの社会的偏見、毒性、倫理的問題を評価するために多くのベンチマークが構築されているが、これらの静的ベンチマークは、モデルが急速に進化するにつれて、既存のベンチマークがトレーニングデータに漏れたり、飽和状態になったり、過度に展開するLLMを過度に見積もったりするような、評価のクロノエフェクトに悩まされている。 この問題に対処するために,測定理論における適応試験法に基づく新しい生成的進化試験手法であるGAAを提案する。 静的なテスト項目プールに依存する従来の適応テスト手法とは異なり、GETAはモデル能力に適したテスト項目を動的に生成することで、LLMの基本的な道徳的境界を探索する。 GETAは、アイテムの難易度とモデル値の整合性の連成分布を学習し、LCMと共進化し、評価クロノエフェクトに効果的に対処する。 GETAを用いた各種LLMの評価を行い,その有効性を実証した。 1)GETAは、困難に調整されたテスト項目を動的に作成できる。 2) GETAの評価結果は, 未確認のOODや商品のモデルの性能と一致し, 今後の評価パラダイムの基礎となるものとなる。

関連論文リスト

• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とAIのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• MoralBench: Moral Evaluation of LLMs [34.43699121838648]
  本稿では,大規模言語モデル(LLM)の道徳的推論能力の測定と比較を目的とした新しいベンチマークを提案する。 LLMの出力の道徳的次元を探索するために特別に計算された最初の包括的データセットを示す。 本手法は, 定量的分析と倫理学者の質的洞察を組み合わせることで, モデル性能の徹底的な評価を確実にする多面的手法である。
  論文  参考訳（メタデータ） (2024-06-06T18:15:01Z)
• Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs [30.179703001666173]
  大規模言語モデル(LLM)にとって、ファクチュアリティの問題は重要な問題である 我々は,かなり大きなテストデータセットを用いて,LLMの性能を評価するためにGraphEvalを提案する。 テストデータセットは、高価な人的努力なしで1000万以上の事実を持つ大規模な知識グラフから取得される。
  論文  参考訳（メタデータ） (2024-04-01T06:01:17Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Denevil: Towards Deciphering and Navigating the Ethical Values of Large Language Models via Instruction Learning [36.66806788879868]
  大きな言語モデル(LLM)は前例のない突破口をたどったが、彼らの日常生活への統合は非倫理的コンテンツによって社会的リスクを引き起こす可能性がある。 この研究はモラル・ファンデーション理論を利用した倫理的価値を論じている。
  論文  参考訳（メタデータ） (2023-10-17T07:42:40Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。