論文の概要: Rethinking Scaling Laws for Learning in Strategic Environments
- arxiv url: http://arxiv.org/abs/2402.07588v2
- Date: Wed, 21 Feb 2024 18:49:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 18:47:17.658547
- Title: Rethinking Scaling Laws for Learning in Strategic Environments
- Title(参考訳): 戦略的環境における学習のためのスケーリング法則の再考
- Authors: Tinashe Handina and Eric Mazumdar
- Abstract要約: より大規模なマシンモデルをデプロイすることは、モデルがより表現力が高くなればなるほど、アクセス可能なデータが増えていくことを反映している。
モデルがさまざまな現実のシナリオにデプロイされるにつれて、モデルの相互作用が戦略的環境に与える影響を考察する。
- 参考スコア(独自算出の注目度): 6.332697416637105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The deployment of ever-larger machine learning models reflects a growing
consensus that the more expressive the model$\unicode{x2013}$and the more data
one has access to$\unicode{x2013}$the more one can improve performance. As
models get deployed in a variety of real world scenarios, they inevitably face
strategic environments. In this work, we consider the natural question of how
the interplay of models and strategic interactions affects scaling laws. We
find that strategic interactions can break the conventional view of scaling
laws$\unicode{x2013}$meaning that performance does not necessarily
monotonically improve as models get larger and/ or more expressive (even with
infinite data). We show the implications of this phenomenon in several contexts
including strategic regression, strategic classification, and multi-agent
reinforcement learning through examples of strategic environments in
which$\unicode{x2013}$by simply restricting the expressivity of one's model or
policy class$\unicode{x2013}$one can achieve strictly better equilibrium
outcomes. Motivated by these examples, we then propose a new paradigm for
model-selection in games wherein an agent seeks to choose amongst different
model classes to use as their action set in a game.
- Abstract(参考訳): より大規模な機械学習モデルのデプロイは、モデルがより表現力のある$\unicode{x2013}$と、より多くのデータが$\unicode{x2013}$にアクセスできるほどパフォーマンスが向上する、というコンセンサスを反映している。
モデルがさまざまな現実世界のシナリオにデプロイされると、必然的に戦略的環境に直面します。
本研究では,モデルと戦略的相互作用の相互作用がスケーリング法則にどのように影響するかという自然問題を考える。
戦略的相互作用が従来のスケーリング法則の見解を破る可能性があることが分かりました。$\unicode{x2013}$ つまり、モデルが大きくなり、(無限のデータであっても)表現的になるにつれて、パフォーマンスが必ずしも単調に改善されるとは限らないということです。
この現象は,戦略回帰,戦略分類,マルチエージェント強化学習といったいくつかの文脈において,単に自己のモデルや政策クラスの表現性を制限することによって,厳密な平衡結果が得られるという戦略環境の例を通して,その意味を示す。
これらの例に動機づけられ、エージェントがゲーム内のアクションセットとして使用する異なるモデルクラスの中から選択しようとするゲームにおけるモデル選択の新しいパラダイムを提案する。
関連論文リスト
- ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。
提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
論文 参考訳(メタデータ) (2023-12-14T15:53:07Z) - Using Explanations to Guide Models [68.64377323216817]
モデルガイダンスは、時にはモデルパフォーマンスも改善できることを示す。
本研究では,物体の特徴に着目したモデルの有効性を示す新しいエネルギー損失を提案する。
また、バウンディングボックスアノテーションのわずかな部分でも、これらのゲインが達成可能であることも示しています。
論文 参考訳(メタデータ) (2023-03-21T15:34:50Z) - Misspecification in Inverse Reinforcement Learning [80.91536434292328]
逆強化学習(IRL)の目的は、ポリシー$pi$から報酬関数$R$を推論することである。
IRLの背後にある主要な動機の1つは、人間の行動から人間の嗜好を推測することである。
これは、それらが誤って特定され、現実世界のデータに適用された場合、不適切な推測につながる恐れが生じることを意味する。
論文 参考訳(メタデータ) (2022-12-06T18:21:47Z) - ScaleNet: Searching for the Model to Scale [44.05380012545087]
ベースモデルとスケーリング戦略を共同で検索するために,ScaleNetを提案する。
我々は,大規模ネットワークが様々なFLOPに対して大きな性能上の優位性を持っていることを示す。
論文 参考訳(メタデータ) (2022-07-15T03:16:43Z) - Exploring Sparse Expert Models and Beyond [51.90860155810848]
Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。
本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。
この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
論文 参考訳(メタデータ) (2021-05-31T16:12:44Z) - Query-free Black-box Adversarial Attacks on Graphs [37.88689315688314]
そこで,攻撃者は対象モデルについて知識がなく,クエリーアクセスも行わないグラフに対して,クエリフリーなブラックボックス攻撃を提案する。
対象モデルに対するフリップリンクの影響をスペクトル変化によって定量化できることを証明し,固有値摂動理論を用いて近似する。
その単純さとスケーラビリティのため、提案モデルは様々なグラフベースモデルで一般的なだけでなく、異なる知識レベルがアクセス可能であれば容易に拡張できる。
論文 参考訳(メタデータ) (2020-12-12T08:52:56Z) - Mutual Modality Learning for Video Action Classification [74.83718206963579]
ビデオアクション分類のための単一モデルにマルチモーダルを組み込む方法を示す。
我々はSomething-v2ベンチマークで最先端の結果を得た。
論文 参考訳(メタデータ) (2020-11-04T21:20:08Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳(メタデータ) (2020-09-21T02:48:46Z) - Model-Based Reinforcement Learning for Atari [89.3039240303797]
エージェントがモデルフリーの手法よりも少ないインタラクションでAtariゲームを解くことができることを示す。
本実験は,エージェントと環境間の100kの相互作用の少ないデータ構造における,AtariゲームにおけるSimPLeの評価である。
論文 参考訳(メタデータ) (2019-03-01T15:40:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。