論文の概要: Report on the 1st Workshop on Large Language Model for Evaluation in Information Retrieval (LLM4Eval 2024) at SIGIR 2024
- arxiv url: http://arxiv.org/abs/2408.05388v1
- Date: Fri, 09 Aug 2024 23:55:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 17:51:40.053090
- Title: Report on the 1st Workshop on Large Language Model for Evaluation in Information Retrieval (LLM4Eval 2024) at SIGIR 2024
- Title（参考訳）: 第1回Large Language Model for Evaluation in Information Retrieval (LLM4Eval 2024) 開催報告
- Authors: Hossein A. Rahmani, Clemencia Siro, Mohammad Aliannejadi, Nick Craswell, Charles L. A. Clarke, Guglielmo Faggioli, Bhaskar Mitra, Paul Thomas, Emine Yilmaz,
- Abstract要約: 本研究の目的は,情報検索における評価のためのLLMの話題を中心に,情報検索研究者を集結させることである。
このトピックの新規性を考えると、ワークショップは多面的な議論に焦点を当てていた。
- 参考スコア（独自算出の注目度）: 37.103230004631996
- License:
- Abstract: The first edition of the workshop on Large Language Model for Evaluation in Information Retrieval (LLM4Eval 2024) took place in July 2024, co-located with the ACM SIGIR Conference 2024 in the USA (SIGIR 2024). The aim was to bring information retrieval researchers together around the topic of LLMs for evaluation in information retrieval that gathered attention with the advancement of large language models and generative AI. Given the novelty of the topic, the workshop was focused around multi-sided discussions, namely panels and poster sessions of the accepted proceedings papers.
- Abstract（参考訳）: 2024年7月、Large Language Model for Evaluation in Information Retrieval(LLM4Eval 2024)の第1回ワークショップが米国で開催されたACM SIGIR Conference 2024(SIGIR 2024)と共同で開催された。
本研究の目的は,大規模言語モデルと生成AIの進歩にともなって注目された情報検索における評価のために,情報検索研究者をLLMのトピックの周りに集結させることである。
このトピックの新規性を考えると、ワークショップは多面的な議論、すなわち承認された手続き論文のパネルやポスターセッションに焦点を当てていた。
関連論文リスト
- LLM+KG@VLDB'24 Workshop Summary [9.347889830892182]
大規模言語モデル(LLM)と知識グラフ(KG)がホットトピックとして浮上している。
LLM+KG'24ワークショップは、中国広州で行われたVLDB 2024と共同で開催され、重要なデータ管理の課題と機会について検討した。
本報告では,ワークショップでさまざまな講演者が提示した主な方向性とアプローチについて概説する。
論文 参考訳（メタデータ） (2024-10-02T19:35:35Z) - Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。
我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
論文 参考訳（メタデータ） (2024-03-11T21:51:39Z) - Recent Advances, Applications, and Open Challenges in Machine Learning for Health: Reflections from Research Roundtables at ML4H 2023 Symposium [71.81297744767885]
第3回ML4Hシンポジウムは2023年12月10日にアメリカ合衆国ルイジアナ州ニューオーリンズで開催された。
ML4H 2022では,11個の個人用ラウンドテーブルと4つの仮想ラウンドテーブルを編成した。
この文書は、医療における機械学習の最近の進歩を要約した総合的なレビュー論文として機能する。
論文 参考訳（メタデータ） (2024-03-03T22:21:58Z) - Perception Test 2023: A Summary of the First Challenge And Outcome [67.0525378209708]
最初のパーセプションテストは、IEEE/CVF International Conference on Computer Vision (ICCV) 2023と共に半日間のワークショップとして開催された。
目標は、最近提案されたPerception Testベンチマークで最先端のビデオモデルをベンチマークすることであった。
このレポートでは、タスク記述、メトリクス、ベースライン、結果について要約しています。
論文 参考訳（メタデータ） (2023-12-20T15:12:27Z) - Sixth International Workshop on Languages for Modelling Variability (MODEVAR 2024) [0.0]
スイスのベルンで開催された第6回モデリング変数に関する国際ワークショップ(MODE 2024)の手続きである。
論文 参考訳（メタデータ） (2023-12-19T08:28:06Z) - Proceedings Fifth International Workshop on Formal Methods for
Autonomous Systems [0.0]
FMAS 2023は第18回国際統合形式法会議(iFM'22)と共同開催
ワークショップ自体は、運河と並んで19世紀の毛布工場であるシュルテマ・ライデンで行われた。
論文 参考訳（メタデータ） (2023-11-15T14:20:56Z) - Findings of the 2023 ML-SUPERB Challenge: Pre-Training and Evaluation
over More Languages and Beyond [89.54151859266202]
2023年のMultilingual Speech Universal Performance Benchmark (ML-SUPERB) Challengeは、宣言されたSUPERBフレームワークに拡張される。
この挑戦は12のモデル提出と54の言語コーパスを集め、154の言語を含む包括的なベンチマークをもたらした。
この結果は、単にスケーリングモデルが多言語音声タスクにおける決定的な解決策ではないことを示唆している。
論文 参考訳（メタデータ） (2023-10-09T08:30:01Z) - L-Eval: Instituting Standardized Evaluation for Long Context Language
Models [91.05820785008527]
長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。
20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。
その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
論文 参考訳（メタデータ） (2023-07-20T17:59:41Z) - Proceedings End-to-End Compositional Models of Vector-Based Semantics [0.0]
ワークショップは「オランダ語をローカライゼーションしたベクトルベースセマンティックモデリングのための合成計算」研究プロジェクトによって後援された。
本編では、寄稿した論文と招待された講演の要約をまとめた。
論文 参考訳（メタデータ） (2022-08-10T12:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。