論文の概要: Scaling up Search Engine Audits: Practical Insights for Algorithm
Auditing
- arxiv url: http://arxiv.org/abs/2106.05831v3
- Date: Mon, 25 Apr 2022 13:14:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 01:49:56.935880
- Title: Scaling up Search Engine Audits: Practical Insights for Algorithm
Auditing
- Title(参考訳): 検索エンジン監査のスケールアップ - アルゴリズム監査の実践的考察
- Authors: Roberto Ulloa and Mykola Makhortykh and Aleksandra Urman
- Abstract要約: 異なる地域に数百の仮想エージェントを配置した8つの検索エンジンの実験を行った。
複数のデータ収集にまたがる研究インフラの性能を実証する。
仮想エージェントは,アルゴリズムの性能を長時間にわたって監視するための,有望な場所である,と結論付けている。
- 参考スコア(独自算出の注目度): 68.8204255655161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Algorithm audits have increased in recent years due to a growing need to
independently assess the performance of automatically curated services that
process, filter, and rank the large and dynamic amount of information available
on the internet. Among several methodologies to perform such audits, virtual
agents stand out because they offer the ability to perform systematic
experiments, simulating human behaviour without the associated costs of
recruiting participants. Motivated by the importance of research transparency
and replicability of results, this paper focuses on the challenges of such an
approach. It provides methodological details, recommendations, lessons learned,
and limitations based on our experience of setting up experiments for eight
search engines (including main, news, image and video sections) with hundreds
of virtual agents placed in different regions. We demonstrate the successful
performance of our research infrastructure across multiple data collections,
with diverse experimental designs, and point to different changes and
strategies that improve the quality of the method. We conclude that virtual
agents are a promising venue for monitoring the performance of algorithms
across long periods of time, and we hope that this paper can serve as a basis
for further research in this area.
- Abstract(参考訳): 近年、インターネットで利用可能な大規模でダイナミックな情報の処理、フィルタリング、ランク付けを行う自動キュレーションサービスのパフォーマンスを独立して評価する必要性が高まっているため、アルゴリズム監査が増加している。
このような監査を行ういくつかの手法の中で、仮想エージェントは、参加者をリクルートするコストを伴わずに人間の行動をシミュレートし、体系的な実験を行う能力を提供するため、目立たない。
研究の透明性と結果の再現性の重要性に動機づけられ,このようなアプローチの課題に焦点を当てた。
8つの検索エンジン(メイン、ニュース、画像、ビデオセクションを含む)に、数百の仮想エージェントを配置した実験をセットアップした経験に基づいて、方法論の詳細、勧告、学習した教訓、制限を提供します。
様々な実験的な設計で複数のデータ集合をまたいだ研究基盤の性能を実証し、その方法の品質を向上させるための異なる変更と戦略を指摘する。
仮想エージェントは,アルゴリズムの性能を長期にわたって監視するための有望な場所であると結論づけるとともに,本論文がこの分野におけるさらなる研究の基盤となることを期待する。
関連論文リスト
- Multiobjective Optimization Analysis for Finding Infrastructure-as-Code
Deployment Configurations [0.3774866290142281]
本稿では,インフラストラクチャ・アズ・コード配置に関する多目的問題に焦点をあてる。
本稿では,9種類の進化型多目的アルゴリズムについて述べる。
フリードマンの非パラメトリックテストを用いて, 独立ランニング後の各手法の結果を比較した。
論文 参考訳(メタデータ) (2024-01-18T13:55:32Z) - The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [56.00281164118548]
LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。
本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
論文 参考訳(メタデータ) (2023-12-01T16:00:25Z) - Investigating Relative Performance of Transfer and Meta Learning [0.0]
本稿では,トランスファーラーニングとメタラーニングの2つの異なるアプローチを比較した研究結果について述べる。
包括的な目的は、多様な機械学習シナリオにおいて最も適切な方法を選択するための堅牢な基準を確立することである。
論文 参考訳(メタデータ) (2023-10-31T12:52:00Z) - SeMAIL: Eliminating Distractors in Visual Imitation via Separated Models [22.472167814814448]
本稿では,SeMAIL(Separated Model-based Adversarial Imitation Learning)というモデルベース模倣学習アルゴリズムを提案する。
本手法は, 様々な視覚的制御タスクにおいて, 複雑な観察と, 専門的な観察から異なる背景を持つより困難なタスクにおいて, ほぼ専門的な性能を実現する。
論文 参考訳(メタデータ) (2023-06-19T04:33:44Z) - Accelerating exploration and representation learning with offline
pre-training [52.6912479800592]
1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。
ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
論文 参考訳(メタデータ) (2023-03-31T18:03:30Z) - GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。
外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
論文 参考訳(メタデータ) (2023-02-16T16:45:36Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳(メタデータ) (2022-11-15T18:57:46Z) - Research Trends and Applications of Data Augmentation Algorithms [77.34726150561087]
我々は,データ拡張アルゴリズムの適用分野,使用するアルゴリズムの種類,重要な研究動向,時間経過に伴う研究の進展,およびデータ拡張文学における研究ギャップを同定する。
我々は、読者がデータ拡張の可能性を理解し、将来の研究方向を特定し、データ拡張研究の中で質問を開くことを期待する。
論文 参考訳(メタデータ) (2022-07-18T11:38:32Z) - Contrasting Contrastive Self-Supervised Representation Learning Models [29.1857781719894]
我々は,自己教師付き表現学習の最も成功し,人気のある変種の一つであるコントラスト的アプローチを分析した。
エンコーダ30台,プリトレーニングデータセット4台,ダウンストリームタスク20台を含む,700以上のトレーニング実験を行った。
論文 参考訳(メタデータ) (2021-03-25T17:40:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。