論文の概要: Scaling up Search Engine Audits: Practical Insights for Algorithm Auditing

• arxiv url: http://arxiv.org/abs/2106.05831v3
• Date: Mon, 25 Apr 2022 13:14:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 01:49:56.935880
• Title: Scaling up Search Engine Audits: Practical Insights for Algorithm Auditing
• Title（参考訳）: 検索エンジン監査のスケールアップ - アルゴリズム監査の実践的考察
• Authors: Roberto Ulloa and Mykola Makhortykh and Aleksandra Urman
• Abstract要約: 異なる地域に数百の仮想エージェントを配置した8つの検索エンジンの実験を行った。 複数のデータ収集にまたがる研究インフラの性能を実証する。 仮想エージェントは,アルゴリズムの性能を長時間にわたって監視するための,有望な場所である,と結論付けている。
• 参考スコア（独自算出の注目度）: 68.8204255655161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Algorithm audits have increased in recent years due to a growing need to independently assess the performance of automatically curated services that process, filter, and rank the large and dynamic amount of information available on the internet. Among several methodologies to perform such audits, virtual agents stand out because they offer the ability to perform systematic experiments, simulating human behaviour without the associated costs of recruiting participants. Motivated by the importance of research transparency and replicability of results, this paper focuses on the challenges of such an approach. It provides methodological details, recommendations, lessons learned, and limitations based on our experience of setting up experiments for eight search engines (including main, news, image and video sections) with hundreds of virtual agents placed in different regions. We demonstrate the successful performance of our research infrastructure across multiple data collections, with diverse experimental designs, and point to different changes and strategies that improve the quality of the method. We conclude that virtual agents are a promising venue for monitoring the performance of algorithms across long periods of time, and we hope that this paper can serve as a basis for further research in this area.
• Abstract（参考訳）: 近年、インターネットで利用可能な大規模でダイナミックな情報の処理、フィルタリング、ランク付けを行う自動キュレーションサービスのパフォーマンスを独立して評価する必要性が高まっているため、アルゴリズム監査が増加している。 このような監査を行ういくつかの手法の中で、仮想エージェントは、参加者をリクルートするコストを伴わずに人間の行動をシミュレートし、体系的な実験を行う能力を提供するため、目立たない。 研究の透明性と結果の再現性の重要性に動機づけられ,このようなアプローチの課題に焦点を当てた。 8つの検索エンジン(メイン、ニュース、画像、ビデオセクションを含む)に、数百の仮想エージェントを配置した実験をセットアップした経験に基づいて、方法論の詳細、勧告、学習した教訓、制限を提供します。 様々な実験的な設計で複数のデータ集合をまたいだ研究基盤の性能を実証し、その方法の品質を向上させるための異なる変更と戦略を指摘する。 仮想エージェントは,アルゴリズムの性能を長期にわたって監視するための有望な場所であると結論づけるとともに,本論文がこの分野におけるさらなる研究の基盤となることを期待する。

関連論文リスト

• Towards Sample-Efficiency and Generalization of Transfer and Inverse Reinforcement Learning: A Comprehensive Literature Review [50.67937325077047]
  本稿では,転送および逆強化学習(T-IRL)によるRLアルゴリズムのサンプル効率と一般化を実現するための総合的なレビューを行う。 以上の結果から,最近の研究成果の大部分は,人間のループとシム・トゥ・リアル戦略を活用することで,上記の課題に対処していることが示唆された。 IRL構造の下では、経験の少ない移行と、そのようなフレームワークのマルチエージェントおよびマルチインテンション問題への拡張を必要とするトレーニングスキームが近年研究者の優先事項となっている。
  論文  参考訳（メタデータ） (2024-11-15T15:18:57Z)
• Learning to Rank for Multiple Retrieval-Augmented Models through Iterative Utility Maximization [21.115495457454365]
  本稿では,複数検索拡張世代(RAG)エージェントを対象とした統合検索エンジンの設計について検討する。 本稿では,これらのRAGエージェントの検索結果を検索エンジンが生成し,オフラインで検索した文書の品質に関するフィードバックを収集する反復的手法を提案する。 我々は、このアプローチをオンライン環境に適応させ、リアルタイムな個別エージェントのフィードバックに基づいて、検索エンジンがその振る舞いを洗練できるようにする。
  論文  参考訳（メタデータ） (2024-10-13T17:53:50Z)
• Performance Evaluation in Multimedia Retrieval [7.801919915773585]
  マルチメディア検索の性能評価は検索実験に大きく依存する。 これらには、検索プロセス自体に対するヒューマン・イン・ザ・ループとマシンのみの設定と、その後の結果の検証が含まれる。 本稿では,このような検索実験のすべての側面を表現するための形式モデルと,柔軟なオープンソース評価基盤を提案する。
  論文  参考訳（メタデータ） (2024-10-09T08:06:15Z)
• Is Value Functions Estimation with Classification Plug-and-play for Offline Reinforcement Learning? [1.9116784879310031]
  深層強化学習(RL)では、値関数はディープニューラルネットワークを用いて近似され、平均2乗誤差回帰目標を用いて訓練される。 近年の研究では、クロスエントロピー分類の目的を活かした代替手法が提案されている。 我々の研究は、オフラインのRLセットアップにおけるそのような置換の影響を実証的に調査することを目指している。
  論文  参考訳（メタデータ） (2024-06-10T14:25:11Z)
• A Comprehensive Survey on Underwater Image Enhancement Based on Deep Learning [51.7818820745221]
  水中画像強調(UIE)はコンピュータビジョン研究において重要な課題である。 多数のUIEアルゴリズムが開発されているにもかかわらず、網羅的で体系的なレビューはいまだに欠落している。
  論文  参考訳（メタデータ） (2024-05-30T04:46:40Z)
• Process Variant Analysis Across Continuous Features: A Novel Framework [0.0]
  本研究は, 業務プロセスにおけるケースの効果的セグメンテーションの課題に対処する。 本研究では,スライディングウインドウ手法と地球移動器の距離を併用して制御流の挙動変化を検出する手法を提案する。 オランダの保険会社UWVと共同で実生活事例研究を行い,その方法論を検証した。
  論文  参考訳（メタデータ） (2024-05-06T16:10:13Z)
• Multiobjective Optimization Analysis for Finding Infrastructure-as-Code Deployment Configurations [0.3774866290142281]
  本稿では,インフラストラクチャ・アズ・コード配置に関する多目的問題に焦点をあてる。 本稿では,9種類の進化型多目的アルゴリズムについて述べる。 フリードマンの非パラメトリックテストを用いて, 独立ランニング後の各手法の結果を比較した。
  論文  参考訳（メタデータ） (2024-01-18T13:55:32Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
  本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。 外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
  論文  参考訳（メタデータ） (2023-02-16T16:45:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。