論文の概要: Performance Evaluation in Multimedia Retrieval

• arxiv url: http://arxiv.org/abs/2410.06654v1
• Date: Wed, 09 Oct 2024 08:06:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 13:33:14.449139
• Title: Performance Evaluation in Multimedia Retrieval
• Title（参考訳）: マルチメディア検索における性能評価
• Authors: Loris Sauter, Ralph Gasser, Heiko Schuldt, Abraham Bernstein, Luca Rossetto,
• Abstract要約: マルチメディア検索の性能評価は検索実験に大きく依存する。 これらには、検索プロセス自体に対するヒューマン・イン・ザ・ループとマシンのみの設定と、その後の結果の検証が含まれる。 本稿では,このような検索実験のすべての側面を表現するための形式モデルと,柔軟なオープンソース評価基盤を提案する。
• 参考スコア（独自算出の注目度）: 7.801919915773585
• License:
• Abstract: Performance evaluation in multimedia retrieval, as in the information retrieval domain at large, relies heavily on retrieval experiments, employing a broad range of techniques and metrics. These can involve human-in-the-loop and machine-only settings for the retrieval process itself and the subsequent verification of results. Such experiments can be elaborate and use-case-specific, which can make them difficult to compare or replicate. In this paper, we present a formal model to express all relevant aspects of such retrieval experiments, as well as a flexible open-source evaluation infrastructure that implements the model. These contributions intend to make a step towards lowering the hurdles for conducting retrieval experiments and improving their reproducibility.
• Abstract（参考訳）: マルチメディア検索における性能評価は、情報検索領域全体と同様に、検索実験に大きく依存しており、幅広い技術とメトリクスを用いている。 これらには、検索プロセス自体に対するヒューマン・イン・ザ・ループとマシンのみの設定と、その後の結果の検証が含まれる。 このような実験は精巧でユースケース固有のものになり、比較や複製が困難になる。 本稿では,このような検索実験のすべての側面を表現するための形式モデルと,そのモデルを実装する柔軟なオープンソース評価基盤を提案する。 これらの貢献は、検索実験の実施のハードルを低くし、再現性を向上させることを目的としている。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Exploring Information Retrieval Landscapes: An Investigation of a Novel Evaluation Techniques and Comparative Document Splitting Methods [0.0]
  本研究では, 教科書の構造的性質, 記事の簡潔さ, 小説の物語的複雑さについて, 明確な検索戦略が必要であることを示した。 オープンソースのモデルを用いて,質問対と回答対の包括的データセットを生成する新しい評価手法を提案する。 評価には、SequenceMatcher、BLEU、METEOR、BERT Scoreなどの重み付けされたスコアを使用して、システムの正確性と妥当性を評価する。
  論文  参考訳（メタデータ） (2024-09-13T02:08:47Z)
• Experimental Analysis of Large-scale Learnable Vector Storage Compression [42.52474894105165]
  学習可能な埋め込みベクトルは、機械学習において最も重要な応用の1つである。 推薦タスクにおけるスパースデータの高次元性と検索関連タスクにおける大量のコーパスは、埋め込みテーブルのメモリ消費を増大させる。 近年の研究では, モデル品質の低下や, その他のオーバーヘッドを伴って, 埋め込みを圧縮する方法が提案されている。
  論文  参考訳（メタデータ） (2023-11-27T07:11:47Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• Multi-Domain Joint Training for Person Re-Identification [51.73921349603597]
  ReID(Deep Learning-based person Re-IDentification)は、優れたパフォーマンスを達成するために、大量のトレーニングデータを必要とすることが多い。 多様な環境からより多くのトレーニングデータを集めることで、ReIDのパフォーマンスが向上する傾向にある。 本稿では,パラメータを様々な要因に適応させることができる,Domain-Camera-Sample Dynamic Network (DCSD) というアプローチを提案する。
  論文  参考訳（メタデータ） (2022-01-06T09:20:59Z)
• Scaling up Search Engine Audits: Practical Insights for Algorithm Auditing [68.8204255655161]
  異なる地域に数百の仮想エージェントを配置した8つの検索エンジンの実験を行った。 複数のデータ収集にまたがる研究インフラの性能を実証する。 仮想エージェントは,アルゴリズムの性能を長時間にわたって監視するための,有望な場所である,と結論付けている。
  論文  参考訳（メタデータ） (2021-06-10T15:49:58Z)
• Reproducibility Companion Paper: Knowledge Enhanced Neural Fashion Trend Forecasting [78.046352507802]
  Python実装を使用した実験の複製を可能にするアーティファクトを提供する。 本稿では,本論文で実施した実験を再現し,前報と同様の性能を得る。
  論文  参考訳（メタデータ） (2021-05-25T10:53:11Z)
• Effective Distributed Representations for Academic Expert Search [1.9815631757151737]
  学術論文の異なる分散表現(埋め込み)が学術専門家の検索にどのように影響するかを考察する。 特に,文脈的埋め込みが検索性能に与える影響について検討する。 文類似性タスクのために訓練されたトランスフォーマーモデルによって生成された文脈埋め込みを用いることで、最も効果的な論文表現が得られることを観察する。
  論文  参考訳（メタデータ） (2020-10-16T09:43:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。