Fugu-MT 論文翻訳(概要): Performance Evaluation in Multimedia Retrieval

論文の概要: Performance Evaluation in Multimedia Retrieval

arxiv url: http://arxiv.org/abs/2410.06654v1
Date: Wed, 09 Oct 2024 08:06:15 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-10 13:33:14.449139
Title: Performance Evaluation in Multimedia Retrieval
Title（参考訳）: マルチメディア検索における性能評価
Authors: Loris Sauter, Ralph Gasser, Heiko Schuldt, Abraham Bernstein, Luca Rossetto,
Abstract要約: マルチメディア検索の性能評価は検索実験に大きく依存する。これらには、検索プロセス自体に対するヒューマン・イン・ザ・ループとマシンのみの設定と、その後の結果の検証が含まれる。本稿では,このような検索実験のすべての側面を表現するための形式モデルと,柔軟なオープンソース評価基盤を提案する。
参考スコア（独自算出の注目度）: 7.801919915773585
License:
Abstract: Performance evaluation in multimedia retrieval, as in the information retrieval domain at large, relies heavily on retrieval experiments, employing a broad range of techniques and metrics. These can involve human-in-the-loop and machine-only settings for the retrieval process itself and the subsequent verification of results. Such experiments can be elaborate and use-case-specific, which can make them difficult to compare or replicate. In this paper, we present a formal model to express all relevant aspects of such retrieval experiments, as well as a flexible open-source evaluation infrastructure that implements the model. These contributions intend to make a step towards lowering the hurdles for conducting retrieval experiments and improving their reproducibility.
Abstract（参考訳）: マルチメディア検索における性能評価は、情報検索領域全体と同様に、検索実験に大きく依存しており、幅広い技術とメトリクスを用いている。これらには、検索プロセス自体に対するヒューマン・イン・ザ・ループとマシンのみの設定と、その後の結果の検証が含まれる。このような実験は精巧でユースケース固有のものになり、比較や複製が困難になる。本稿では,このような検索実験のすべての側面を表現するための形式モデルと,そのモデルを実装する柔軟なオープンソース評価基盤を提案する。これらの貢献は、検索実験の実施のハードルを低くし、再現性を向上させることを目的としている。

関連論文リスト

Exploring Information Retrieval Landscapes: An Investigation of a Novel Evaluation Techniques and Comparative Document Splitting Methods [0.0]
本研究では, 教科書の構造的性質, 記事の簡潔さ, 小説の物語的複雑さについて, 明確な検索戦略が必要であることを示した。オープンソースのモデルを用いて,質問対と回答対の包括的データセットを生成する新しい評価手法を提案する。評価には、SequenceMatcher、BLEU、METEOR、BERT Scoreなどの重み付けされたスコアを使用して、システムの正確性と妥当性を評価する。
論文参考訳（メタデータ） (2024-09-13T02:08:47Z)
Experimental Analysis of Large-scale Learnable Vector Storage Compression [42.52474894105165]
学習可能な埋め込みベクトルは、機械学習において最も重要な応用の1つである。推薦タスクにおけるスパースデータの高次元性と検索関連タスクにおける大量のコーパスは、埋め込みテーブルのメモリ消費を増大させる。近年の研究では, モデル品質の低下や, その他のオーバーヘッドを伴って, 埋め込みを圧縮する方法が提案されている。
論文参考訳（メタデータ） (2023-11-27T07:11:47Z)
Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
論文参考訳（メタデータ） (2023-11-16T10:42:58Z)
Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文参考訳（メタデータ） (2022-10-19T16:19:37Z)
On the Importance of Application-Grounded Experimental Design for Evaluating Explainable ML Methods [20.2027063607352]
本稿では,事前説明可能なML評価実験を拡張し,設定を配置設定に近づける実験を行った。私たちの経験的研究は、以前の研究と劇的に異なる結論を導き、一見自明な実験的な設計選択が、いかに誤解を招く結果をもたらすかを浮き彫りにしています。この研究は、任意のMLメソッドの評価をシチュレートし、意図されたデプロイメントコンテキストに合わせて適切なタスク、データ、ユーザ、メトリクスを選択する必要性についての教訓を持っていると信じています。
論文参考訳（メタデータ） (2022-06-24T14:46:19Z)
Where Does the Performance Improvement Come From? - A Reproducibility Concern about Image-Text Retrieval [85.03655458677295]
画像テキスト検索は、情報検索分野において、徐々に主要な研究方向になりつつある。まず、画像テキスト検索タスクに焦点が当てられている理由と関連性について検討する。本研究では,事前学習と非事前学習による検索モデルの再現の諸側面を解析する。
論文参考訳（メタデータ） (2022-03-08T05:01:43Z)
Multi-Domain Joint Training for Person Re-Identification [51.73921349603597]
ReID(Deep Learning-based person Re-IDentification)は、優れたパフォーマンスを達成するために、大量のトレーニングデータを必要とすることが多い。多様な環境からより多くのトレーニングデータを集めることで、ReIDのパフォーマンスが向上する傾向にある。本稿では,パラメータを様々な要因に適応させることができる,Domain-Camera-Sample Dynamic Network (DCSD) というアプローチを提案する。
論文参考訳（メタデータ） (2022-01-06T09:20:59Z)
Scaling up Search Engine Audits: Practical Insights for Algorithm Auditing [68.8204255655161]
異なる地域に数百の仮想エージェントを配置した8つの検索エンジンの実験を行った。複数のデータ収集にまたがる研究インフラの性能を実証する。仮想エージェントは,アルゴリズムの性能を長時間にわたって監視するための,有望な場所である,と結論付けている。
論文参考訳（メタデータ） (2021-06-10T15:49:58Z)
Reproducibility Companion Paper: Knowledge Enhanced Neural Fashion Trend Forecasting [78.046352507802]
Python実装を使用した実験の複製を可能にするアーティファクトを提供する。本稿では,本論文で実施した実験を再現し,前報と同様の性能を得る。
論文参考訳（メタデータ） (2021-05-25T10:53:11Z)
Effective Distributed Representations for Academic Expert Search [1.9815631757151737]
学術論文の異なる分散表現(埋め込み)が学術専門家の検索にどのように影響するかを考察する。特に,文脈的埋め込みが検索性能に与える影響について検討する。文類似性タスクのために訓練されたトランスフォーマーモデルによって生成された文脈埋め込みを用いることで、最も効果的な論文表現が得られることを観察する。
論文参考訳（メタデータ） (2020-10-16T09:43:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。