論文の概要: TriEval: A Resource-Efficient Pipeline for LLM Bias, Toxicity, and Truthfulness Assessment

• arxiv url: http://arxiv.org/abs/2606.03036v1
• Date: Tue, 02 Jun 2026 02:21:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 10:57:21.715513
• Title: TriEval: A Resource-Efficient Pipeline for LLM Bias, Toxicity, and Truthfulness Assessment
• Title（参考訳）: TriEval: LLMバイアス,毒性,真性評価のための資源効率の高いパイプライン
• Authors: Akshatha Srikantha, Manpreet Singh, Yash Jajoo, Shyamal Lakhanpal,
• Abstract要約: TriEvalは、機械学習モデルを評価するパイプラインである。 オープンソースモデルとクローズドモデルの両方に対応している。 Llama 3 8B、Mistral 7B、Gemma 2 9B、Claude Haikuの4つのモデルでテストされている。
• 参考スコア（独自算出の注目度）: 2.3004655342211078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs have evolved from basic chatbots to the backbone of the AI ecosystem, now widely used in healthcare, schools, and government services. The domain-wide adoption of LLMs necessitates continuous evaluation to ensure their safety and fairness. Common issues encountered after deploying LLMs include inconsistent outputs and hallucinations of incorrect information. Although numerous LLM evaluation tools exist, most are limited to testing a single parameter at a time or require massive computational resources that are not accessible to most researchers. TriEval addresses these challenges by evaluating LLM outputs across multiple parameters, including bias, toxicity, and truthfulness together, while minimizing computing resources. The pipeline is compatible with both open- and closed-source models and runs on a standard laptop without a GPU cluster. TriEval has been tested on four models: Llama 3 8B, Mistral 7B, Gemma 2 9B, and Claude Haiku. The results show clear differences between open-source and closed-source models, especially in terms of toxicity and truthfulness. TriEval is being released as open source to enable broader access for researchers with limited computational resources.
• Abstract（参考訳）: LLMは、基本的なチャットボットからAIエコシステムのバックボーンへと進化してきた。 ドメイン全体のLLMの採用は、安全性と公正性を確保するために、継続的な評価を必要とする。 LLMのデプロイ後に発生する一般的な問題は、一貫性のない出力と誤った情報の幻覚である。 多くのLSM評価ツールが存在するが、ほとんどの場合、一度に1つのパラメータをテストするか、ほとんどの研究者にはアクセスできない膨大な計算資源を必要とする。 TriEvalは、コンピューティングリソースを最小化しながら、バイアス、毒性、真理性を含む複数のパラメータにわたるLCM出力を評価することで、これらの課題に対処する。 パイプラインはオープンソースモデルとクローズドソースモデルの両方と互換性があり、GPUクラスタなしで標準ラップトップ上で動作する。 TriEvalは、Llama 3 8B、Mistral 7B、Gemma 2 9B、Claude Haikuの4つのモデルでテストされている。 その結果、オープンソースモデルとクローズドソースモデルの間に、特に毒性と真理性の点で明確な違いが示された。 TriEvalは、限られた計算リソースを持つ研究者の幅広いアクセスを可能にするために、オープンソースとしてリリースされている。

関連論文リスト

• Consistency Is the Key: Detecting Hallucinations in LLM Generated Text By Checking Inconsistencies About Key Facts [21.081815261690444]
  大規模言語モデル(LLM)は、しばしば幻覚を生じさせ、現実の知識に根ざしていない事実的誤りのテキストを生成する。 これは、医療、金融、顧客サポートといった分野に深刻なリスクをもたらす。 外部知識ベースを活用できない効率的な検出手法であるCONFACTCHECKを紹介する。
  論文  参考訳（メタデータ） (2025-11-15T14:33:02Z)
• Understanding LLMs' Fluid Intelligence Deficiency: An Analysis of the ARC Task [71.61879949813998]
  認知研究において、後者の能力は流体インテリジェンスと呼ばれ、人間のインテリジェンスを評価するために重要であると考えられている。 流体インテリジェンス評価に関する最近の研究は、LLMの能力に重大な欠陥を浮き彫りにした。 本研究は,既存のLSMにおいて,スキル構成能力の制限,抽象的な入力形式に慣れていないこと,左から右への復号化の本質的欠如の3つの大きな限界を明らかにした。
  論文  参考訳（メタデータ） (2025-02-11T02:31:09Z)
• Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation [55.21013307734612]
  AoPS-Instructは60,000以上の高品質QAペアのデータセットである。 LiveAoPSBenchは、最新のフォーラムデータから派生したタイムスタンプによる進化的評価セットである。 我々の研究は、高度な数学推論のための大規模で高品質なデータセットの作成と維持にスケーラブルなアプローチを提示している。
  論文  参考訳（メタデータ） (2025-01-24T06:39:38Z)
• A Real-World Benchmark for Evaluating Fine-Grained Issue Solving Capabilities of Large Language Models [11.087034068992653]
  FAUN-Eval は LLM の Fine-grAined issUe solviNg 機能を評価するために特別に設計されたベンチマークである。 30の有名なGitHubリポジトリからキュレートされたデータセットを使って構築されている。 FAUN-Evalでは,4つのクローズドソースモデルと6つのオープンソースモデルを含む10個のLLMを評価した。
  論文  参考訳（メタデータ） (2024-11-27T03:25:44Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
  本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。 間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。 本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• LiveBench: A Challenging, Contamination-Limited LLM Benchmark [93.57775429120488]
  最近の情報ソースから頻繁に更新された質問を含む最初のベンチマークであるLiveBenchをリリースする。 我々は、多くの著名なクローズドソースモデルと、0.5Bから405Bまでの数十のオープンソースモデルを評価した。 質問は毎月追加され、更新され、時間とともに新しいタスクとより難しいタスクをリリースします。
  論文  参考訳（メタデータ） (2024-06-27T16:47:42Z)
• Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering [18.94220625114711]
  大きな言語モデル(LLM)は驚くほどよく機能し、多くのタスクにおいて人間の専門家より優れています。 本稿では,LLMに基づいてKGから推論経路を選択するパイプラインを統合し,最適化する。 また,思考の連鎖(CoT)とページランクに基づく,シンプルで効果的なサブグラフ検索手法を提案する。
  論文  参考訳（メタデータ） (2024-04-16T08:28:16Z)
• A Comprehensive Survey of Contamination Detection Methods in Large Language Models [68.10605098856087]
  近年のLarge Language Models(LLM)の台頭に伴い、多くの新しい機会が生まれつつありますが、新たな課題もあります。 LLMの性能は、データへの以前の露出のために、少なくとも部分的には高性能である可能性があるため、もはや信頼性が低い可能性がある。 この制限は、NLPの分野での実際の能力向上を阻害するが、汚染を効率的に検出する方法が不足している。
  論文  参考訳（メタデータ） (2024-03-31T14:32:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。