論文の概要: Grounding and Evaluation for Large Language Models: Practical Challenges and Lessons Learned (Survey)

• arxiv url: http://arxiv.org/abs/2407.12858v1
• Date: Wed, 10 Jul 2024 01:23:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 08:28:07.032372
• Title: Grounding and Evaluation for Large Language Models: Practical Challenges and Lessons Learned (Survey)
• Title（参考訳）: 大規模言語モデルの基盤と評価--実践的課題と教訓(サーベイ)
• Authors: Krishnaram Kenthapadi, Mehrnoosh Sameki, Ankur Taly,
• Abstract要約: 堅牢性、バイアス、セキュリティ、解釈可能性、その他の責任あるAI次元のために、AIシステムを評価し、監視することが不可欠である。 我々は,幻覚,有害かつマニピュティブなコンテンツ,著作権侵害などの新たな課題を提起する,大規模言語モデル(LLM)やその他の生成AIモデルに焦点を当てる。
• 参考スコア（独自算出の注目度）: 16.39412083123155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the ongoing rapid adoption of Artificial Intelligence (AI)-based systems in high-stakes domains, ensuring the trustworthiness, safety, and observability of these systems has become crucial. It is essential to evaluate and monitor AI systems not only for accuracy and quality-related metrics but also for robustness, bias, security, interpretability, and other responsible AI dimensions. We focus on large language models (LLMs) and other generative AI models, which present additional challenges such as hallucinations, harmful and manipulative content, and copyright infringement. In this survey article accompanying our KDD 2024 tutorial, we highlight a wide range of harms associated with generative AI systems, and survey state of the art approaches (along with open challenges) to address these harms.
• Abstract（参考訳）: 人工知能(AI)ベースのシステムがハイテイクドメインに急速に採用されていく中で、これらのシステムの信頼性、安全性、可観測性は重要になっている。 正確性や品質に関するメトリクスだけでなく、堅牢性、バイアス、セキュリティ、解釈可能性、その他の責任あるAI次元に対しても、AIシステムの評価と監視が不可欠です。 我々は,幻覚,有害かつマニピュティブなコンテンツ,著作権侵害などの新たな課題を提起する,大規模言語モデル(LLM)やその他の生成AIモデルに焦点を当てる。 KDD 2024のチュートリアルに付随するこの調査記事では、生成的AIシステムに関連する幅広い害について取り上げ、これらの害に対処するための最先端のアプローチ(オープン課題とともに)を調査します。

関連論文リスト

• OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
  我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。 これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。 我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
  論文  参考訳（メタデータ） (2024-06-18T16:20:53Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• On the Challenges and Opportunities in Generative AI [135.2754367149689]
  現在の大規模生成AIモデルは、ドメイン間で広く採用されるのを妨げるいくつかの基本的な問題に十分対応していない、と我々は主張する。 本研究は、現代の生成型AIパラダイムにおける重要な未解決課題を特定し、その能力、汎用性、信頼性をさらに向上するために取り組まなければならない。
  論文  参考訳（メタデータ） (2024-02-28T15:19:33Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• The Alignment Problem in Context [0.05657375260432172]
  大規模言語モデルのアライメント問題を解決するために,私たちが現在進行中であるかどうかを評価する。 大規模な言語モデルは敵の攻撃に弱いままなので、アライメントのための既存の戦略は不十分である、と私は論じます。 これは、アライメント問題は現在のAIシステムでは未解決であるだけでなく、その能力を著しく損なうことなく、本質的に解決が困難であることを示している。
  論文  参考訳（メタデータ） (2023-11-03T17:57:55Z)
• Security Considerations in AI-Robotics: A Survey of Current Methods, Challenges, and Opportunities [4.466887678364242]
  本稿では,AI-ロボティクスシステムにおけるセキュリティ問題への対処の必要性から,3次元にわたる包括的調査と分類について述べる。 まず、潜在的な攻撃面を調査し、防御戦略を緩和することから始める。 次に、依存関係や心理的影響などの倫理的問題や、これらのシステムに対する説明責任に関する法的懸念を掘り下げる。
  論文  参考訳（メタデータ） (2023-10-12T17:54:20Z)
• Building Safe and Reliable AI systems for Safety Critical Tasks with Vision-Language Processing [1.2183405753834557]
  現在のAIアルゴリズムでは、障害検出の一般的な原因を特定できない。 予測の質を定量化するためには、追加のテクニックが必要である。 この論文は、分類、画像キャプション、視覚質問応答といったタスクのための視覚言語データ処理に焦点を当てる。
  論文  参考訳（メタデータ） (2023-08-06T18:05:59Z)
• AI Maintenance: A Robustness Perspective [91.28724422822003]
  我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。 本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。 我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
  論文  参考訳（メタデータ） (2023-01-08T15:02:38Z)
• Trustworthy AI [75.99046162669997]
  入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。 我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
  論文  参考訳（メタデータ） (2020-11-02T20:04:18Z)
• AAAI FSS-19: Human-Centered AI: Trustworthiness of AI Models and Data Proceedings [8.445274192818825]
  予測モデルは不確実性を認識し、信頼できる予測をもたらすことが不可欠である。 このシンポジウムの焦点は、データ品質と技術的堅牢性と安全性を改善するAIシステムであった。 広く定義された領域からの提出はまた、説明可能なモデル、人間の信頼、AIの倫理的側面といった要求に対処するアプローチについても論じた。
  論文  参考訳（メタデータ） (2020-01-15T15:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。