論文の概要: The Science of Evaluating Foundation Models

• arxiv url: http://arxiv.org/abs/2502.09670v1
• Date: Wed, 12 Feb 2025 22:55:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:47:56.963372
• Title: The Science of Evaluating Foundation Models
• Title（参考訳）: 基礎モデル評価の科学
• Authors: Jiayi Yuan, Jiamu Zhang, Andrew Wen, Xia Hu,
• Abstract要約: 本研究は,(1)特定のユースケースに合わせた構造化されたフレームワークを提供することによる評価プロセスの形式化,(2)チェックリストやテンプレートなどのアクション可能なツールとフレームワークを提供することによる,徹底的,再現性,実践的評価の確保,(3)LLM評価の進歩を目標とした調査,そして実世界のアプリケーションを強調すること,の3つの重要な側面に焦点をあてる。
• 参考スコア（独自算出の注目度）: 46.973855710909746
• License:
• Abstract: The emergent phenomena of large foundation models have revolutionized natural language processing. However, evaluating these models presents significant challenges due to their size, capabilities, and deployment across diverse applications. Existing literature often focuses on individual aspects, such as benchmark performance or specific tasks, but fails to provide a cohesive process that integrates the nuances of diverse use cases with broader ethical and operational considerations. This work focuses on three key aspects: (1) Formalizing the Evaluation Process by providing a structured framework tailored to specific use-case contexts, (2) Offering Actionable Tools and Frameworks such as checklists and templates to ensure thorough, reproducible, and practical evaluations, and (3) Surveying Recent Work with a targeted review of advancements in LLM evaluation, emphasizing real-world applications.
• Abstract（参考訳）: 大きな基礎モデルの創発的な現象は自然言語処理に革命をもたらした。 しかしながら、これらのモデルを評価することは、さまざまなアプリケーションにまたがるサイズ、機能、デプロイメントのために重大な課題を呈する。 既存の文献は、ベンチマークのパフォーマンスや特定のタスクのような個々の側面に焦点を当てることが多いが、多種多様なユースケースのニュアンスをより広範な倫理的および運用上の考慮と統合する凝集的なプロセスは提供できない。 本研究は,(1)特定のユースケースに合わせた構造化されたフレームワークを提供することによる評価プロセスの形式化,(2) チェックリストやテンプレートなどのアクション可能なツールとフレームワークを提供することによる,徹底的かつ再現可能で実践的な評価の確保,(3) LLM評価の進歩を目標とした調査,そして実世界のアプリケーションを強調すること,の3つの重要な側面に焦点を当てる。

関連論文リスト

• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• Multi-Faceted Evaluation of Modeling Languages for Augmented Reality Applications -- The Case of ARWFML [0.0]
  Augmented Reality Modeling Language (ARWFML)は、プログラミング知識のない拡張現実シナリオをモデルベースで作成することを可能にする。 本稿では,多面的評価に基づいて言語を改良するための2つの設計イテレーションを提案する。
  論文  参考訳（メタデータ） (2024-08-26T09:34:36Z)
• Beyond Metrics: A Critical Analysis of the Variability in Large Language Model Evaluation Frameworks [3.773596042872403]
  大規模言語モデル(LLM)は進化を続けており、堅牢で標準化された評価ベンチマークの必要性が最重要である。 さまざまなフレームワークがこの分野への注目すべき貢献として現れ、包括的な評価テストとベンチマークを提供している。 本稿では,これらの評価手法の探索と批判的分析を行い,その強度,限界,および自然言語処理における最先端の進展に対する影響について述べる。
  論文  参考訳（メタデータ） (2024-07-29T03:37:14Z)
• OLMES: A Standard for Language Model Evaluations [64.85905119836818]
  OLMESは、再現可能な言語モデル評価のための文書化された、実用的な、オープンな標準である。 これは、複数の質問の非自然的な「閉じた」定式化を必要とする小さなベースモデル間の有意義な比較をサポートする。 OLMESには、既存の文献の結果によってガイドされた、よく考えられたドキュメント化されたレコメンデーションと、オープンな質問を解決する新しい実験が含まれている。
  論文  参考訳（メタデータ） (2024-06-12T17:37:09Z)
• A Review of Prominent Paradigms for LLM-Based Agents: Tool Use (Including RAG), Planning, and Feedback Learning [0.6247103460512108]
  ツールの使用、計画、フィードバック学習は、現在、LLM(Large Language Model)ベースのエージェントを開発するための3つの重要なパラダイムである。 この調査では、これらのフレームワークを体系的にレビューし、議論するための統合された分類法を導入している。
  論文  参考訳（メタデータ） (2024-06-09T14:42:55Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• F-Eval: Assessing Fundamental Abilities with Refined Evaluation Methods [102.98899881389211]
  F-Evalは、表現、常識、論理などの基本能力を評価するためのバイリンガル評価ベンチマークである。 参照不要な主観的タスクに対しては,APIモデルによるスコアの代替として,新たな評価手法を考案する。
  論文  参考訳（メタデータ） (2024-01-26T13:55:32Z)
• Balancing Specialized and General Skills in LLMs: The Impact of Modern Tuning and Data Strategy [27.365319494865165]
  論文では、提案するフレームワークの設計、データ収集、分析技術、および結果について詳述する。 LLMを専門的な文脈に効果的に適応するための実践的な洞察を企業や研究者に提供することを目的としている。
  論文  参考訳（メタデータ） (2023-10-07T23:29:00Z)
• Multi-Dimensional Evaluation of Text Summarization with In-Context Learning [79.02280189976562]
  本稿では,テキスト内学習を用いた多次元評価器として,大規模言語モデルの有効性について検討する。 実験の結果,テキスト要約作業において,文脈内学習に基づく評価手法が学習評価フレームワークと競合していることが判明した。 次に、テキスト内サンプルの選択や数などの要因がパフォーマンスに与える影響を分析する。
  論文  参考訳（メタデータ） (2023-06-01T23:27:49Z)
• Procedural Generalization by Planning with Self-Supervised World Models [10.119257232716834]
  モデルベースエージェントの一般化能力をモデルフリーエージェントと比較した。 手続き的一般化の要因は,計画,自己指導型表現学習,手続き的データの多様性の3つである。 これらの要因が必ずしもタスクの一般化に同じ利益をもたらすとは限らないことが分かっています。
  論文  参考訳（メタデータ） (2021-11-02T13:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。