論文の概要: Note on Selection Bias in Observational Estimates of Algorithmic Progress

• arxiv url: http://arxiv.org/abs/2508.11033v2
• Date: Mon, 18 Aug 2025 05:12:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 12:43:44.925842
• Title: Note on Selection Bias in Observational Estimates of Algorithmic Progress
• Title（参考訳）: アルゴリズムの進歩の観測推定における選択バイアスについて
• Authors: Parker Whitfill,
• Abstract要約: 本稿では,評価戦略の方法論的問題を1つ挙げる。 アルゴリズム品質の一部が潜伏しており、計算選択がアルゴリズム品質に内在的であれば、アルゴリズム品質の推定は選択バイアスによって汚染される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ho et. al (2024) attempts to estimate the degree of algorithmic progress from language models. They collect observational data on language models' loss and compute over time, and argue that as time has passed, language models' algorithmic efficiency has been rising. That is, the loss achieved for fixed compute has been dropping over time. In this note, I raise one potential methodological problem with the estimation strategy. Intuitively, if part of algorithmic quality is latent, and compute choices are endogenous to algorithmic quality, then resulting estimates of algorithmic quality will be contaminated by selection bias.
• Abstract（参考訳）: など。 al (2024) は言語モデルからアルゴリズムの進歩の度合いを推定しようとする。 彼らは言語モデルの損失と時間の計算に関する観測データを収集し、時間が経つにつれて、言語モデルのアルゴリズム効率が上昇していると主張している。 つまり、固定計算で達成された損失は、時間とともに減少している。 本稿では,評価戦略の方法論的問題を1つ挙げる。 直観的には、アルゴリズム品質の一部が潜伏しており、計算選択がアルゴリズム品質に内在的であれば、アルゴリズム品質の推定は選択バイアスによって汚染される。

関連論文リスト

• From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models [63.188607839223046]
  この調査は、推論中に計算をスケールするメリットに焦点を当てている。 我々はトークンレベルの生成アルゴリズム、メタジェネレーションアルゴリズム、効率的な生成という3つの領域を統一的な数学的定式化の下で探索する。
  論文  参考訳（メタデータ） (2024-06-24T17:45:59Z)
• Algorithmic progress in computer vision [0.8547032097715571]
  ImageNetにおける画像分類のアルゴリズム的進歩について検討する。 アルゴリズムの改良は、コンピュータビジョンの進歩のための計算のスケーリングと同じくらい重要であることが判明した。 計算増強アルゴリズムの進歩は、ムーアの法則に付随する速度の2倍の速度で行われる。
  論文  参考訳（メタデータ） (2022-12-10T00:18:05Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
  オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。 SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。 本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。 ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
  論文  参考訳（メタデータ） (2021-09-13T18:10:52Z)
• A Scalable Algorithm for Anomaly Detection via Learning-Based Controlled Sensing [37.78306297797]
  本研究では,ある時刻に観測対象のプロセスを選択する異常検出アルゴリズムを開発した。 検出アルゴリズムの目的は、所望の値を超える精度で決定に到達することである。 プロセス数に指数関数的複雑性を持つこのトピックの以前の作業とは異なり、このアルゴリズムはプロセス数の両方に計算とメモリを必要とする。
  論文  参考訳（メタデータ） (2021-05-12T17:46:01Z)
• Double Coverage with Machine-Learned Advice [100.23487145400833]
  オンラインの基本的な$k$-serverの問題を学習強化環境で研究する。 我々のアルゴリズムは任意の k に対してほぼ最適の一貫性-破壊性トレードオフを達成することを示す。
  論文  参考訳（メタデータ） (2021-03-02T11:04:33Z)
• Run2Survive: A Decision-theoretic Approach to Algorithm Selection based on Survival Analysis [75.64261155172856]
  生存分析(SA)は、自然に検閲されたデータをサポートし、アルゴリズムランタイムの分散モデルを学習するためにそのようなデータを使用する適切な方法を提供する。 我々は、アルゴリズム選択に対する洗練された決定論的アプローチの基礎として、そのようなモデルを活用し、Run2Surviveを疑う。 標準ベンチマークASlibによる広範な実験では、我々のアプローチは競争力が高く、多くの場合、最先端のASアプローチよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2020-07-06T15:20:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。