論文の概要: A Theory of Dynamic Benchmarks
- arxiv url: http://arxiv.org/abs/2210.03165v1
- Date: Thu, 6 Oct 2022 18:56:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 13:16:34.612312
- Title: A Theory of Dynamic Benchmarks
- Title(参考訳): 動的ベンチマークの理論
- Authors: Ali Shirali, Rediet Abebe, Moritz Hardt
- Abstract要約: 動的ベンチマークの利点と実用的限界について検討する。
これらの結果は、経験的作業における観察されたボトルネックに関する理論的基礎と因果的説明を提供する。
- 参考スコア(独自算出の注目度): 24.170405353348592
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic benchmarks interweave model fitting and data collection in an attempt
to mitigate the limitations of static benchmarks. In contrast to an extensive
theoretical and empirical study of the static setting, the dynamic counterpart
lags behind due to limited empirical studies and no apparent theoretical
foundation to date. Responding to this deficit, we initiate a theoretical study
of dynamic benchmarking. We examine two realizations, one capturing current
practice and the other modeling more complex settings. In the first model,
where data collection and model fitting alternate sequentially, we prove that
model performance improves initially but can stall after only three rounds.
Label noise arising from, for instance, annotator disagreement leads to even
stronger negative results. Our second model generalizes the first to the case
where data collection and model fitting have a hierarchical dependency
structure. We show that this design guarantees strictly more progress than the
first, albeit at a significant increase in complexity. We support our
theoretical analysis by simulating dynamic benchmarks on two popular datasets.
These results illuminate the benefits and practical limitations of dynamic
benchmarking, providing both a theoretical foundation and a causal explanation
for observed bottlenecks in empirical work.
- Abstract(参考訳): 動的ベンチマークは静的ベンチマークの制限を軽減するために、モデルフィッティングとデータ収集を織り込む。
静的な設定に関する広範な理論的、実証的な研究とは対照的に、動的に対応する研究は、限られた経験的研究と、現在まで明らかな理論的基礎によって遅れている。
この欠陥に対応して、動的ベンチマークの理論的研究を開始する。
我々は,現在の実践を捉えた2つの実現と,より複雑な設定をモデル化するもう1つの実現について検討する。
第1のモデルでは、データ収集とモデルフィッティングが逐次的に行われるが、モデルの性能は向上するが、わずか3ラウンドで停止できる。
例えば、アノテータの不一致から生じるラベルノイズは、さらに強いネガティブな結果をもたらす。
第2のモデルは、データ収集とモデル適合が階層的な依存性構造を持つ場合に、第1のモデルを一般化する。
この設計は、複雑さが著しく増加するにもかかわらず、最初のものよりも厳格に進歩することを保証している。
2つの一般的なデータセット上で動的ベンチマークをシミュレートすることで理論的解析を支援する。
これらの結果は動的ベンチマークの利点と実用上の限界を照らし、経験的作業において観察されるボトルネックに対する理論的基礎と因果的説明の両方を提供する。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - Towards Causal Foundation Model: on Duality between Causal Inference and
Attention [14.14921309395866]
複雑なタスクのための因果認識基盤モデルを構築するための第一歩を踏み出します。
我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的手法を提案する。
論文 参考訳(メタデータ) (2023-10-01T22:28:34Z) - Comparing Foundation Models using Data Kernels [13.099029073152257]
基礎モデルの埋め込み空間幾何学を直接比較するための方法論を提案する。
提案手法はランダムグラフ理論に基づいており, 埋め込み類似性の有効な仮説検証を可能にする。
本稿では, 距離関数を付加したモデルの多様体が, 下流の指標と強く相関することを示す。
論文 参考訳(メタデータ) (2023-05-09T02:01:07Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳(メタデータ) (2022-10-15T17:57:43Z) - Causal Dynamics Learning for Task-Independent State Abstraction [61.707048209272884]
タスク独立状態抽象化(CDL)のための因果ダイナミクス学習を導入する。
CDLは、状態変数とアクションの間の不要な依存関係を取り除く理論的に証明された因果ダイナミクスモデルを学ぶ。
状態抽象化は、学習されたダイナミクスから導き出すことができる。
論文 参考訳(メタデータ) (2022-06-27T17:02:53Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-09T17:12:32Z) - Counterfactual Analysis in Dynamic Latent State Models [2.766648389933265]
隠れ状態を持つ動的モデルにおいて、逆ファクト解析を行うための最適化ベースのフレームワークを提供する。
我々は動的潜在状態モデルにおいて、対実的なクエリで下界と上界を計算した最初の人物である。
論文 参考訳(メタデータ) (2022-05-27T08:51:07Z) - Continuously Generalized Ordinal Regression for Linear and Deep Models [41.03778663275373]
正規回帰は、クラスが順序を持ち、予測エラーが予測されたクラスが真のクラスからさらに大きくなるような分類タスクである。
本稿では,クラス固有の超平面斜面をモデル化するための新しい手法を提案する。
本手法は,順序回帰ベンチマークデータセットの完全セットに対して,標準順序ロジスティックモデルよりも大幅に優れる。
論文 参考訳(メタデータ) (2022-02-14T19:49:05Z) - Towards Robust and Adaptive Motion Forecasting: A Causal Representation
Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。
我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。
合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文 参考訳(メタデータ) (2021-11-29T18:59:09Z) - Autoregressive Dynamics Models for Offline Policy Evaluation and
Optimization [60.73540999409032]
表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。
また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
論文 参考訳(メタデータ) (2021-04-28T16:48:44Z) - Equivariant online predictions of non-stationary time series [0.0]
モデル不特定条件下での統計的手法の理論的予測特性を解析する。
ランダムウォーク・ダイナミック・リニア・モデル(ランダムウォーク・ダイナミック・リニア・モデル)の特定のクラスが、正確なミニマックス予測密度を生成することを示す。
論文 参考訳(メタデータ) (2019-11-20T01:46:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。