論文の概要: Understanding Model Selection For Learning In Strategic Environments
- arxiv url: http://arxiv.org/abs/2402.07588v3
- Date: Sat, 1 Jun 2024 23:16:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 18:53:33.876196
- Title: Understanding Model Selection For Learning In Strategic Environments
- Title（参考訳）: 戦略的環境における学習モデル選択の理解
- Authors: Tinashe Handina, Eric Mazumdar,
- Abstract要約: モデルが持つデータ量が多ければ多いほど、パフォーマンスが向上します。
本稿では,アクションゲームにおけるアクションセットとして,エージェントがさまざまなモデルクラスを選択しようとする新しいパラダイムを提案する。
- 参考スコア（独自算出の注目度）: 5.634574808559901
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The deployment of ever-larger machine learning models reflects a growing consensus that the more expressive the model class one optimizes over$\unicode{x2013}$and the more data one has access to$\unicode{x2013}$the more one can improve performance. As models get deployed in a variety of real-world scenarios, they inevitably face strategic environments. In this work, we consider the natural question of how the interplay of models and strategic interactions affects the relationship between performance at equilibrium and the expressivity of model classes. We find that strategic interactions can break the conventional view$\unicode{x2013}$meaning that performance does not necessarily monotonically improve as model classes get larger or more expressive (even with infinite data). We show the implications of this result in several contexts including strategic regression, strategic classification, and multi-agent reinforcement learning. In particular, we show that each of these settings admits a Braess' paradox-like phenomenon in which optimizing over less expressive model classes allows one to achieve strictly better equilibrium outcomes. Motivated by these examples, we then propose a new paradigm for model selection in games wherein an agent seeks to choose amongst different model classes to use as their action set in a game.
- Abstract（参考訳）: より大規模な機械学習モデルのデプロイは、モデルクラスが最適化されるほど$\unicode{x2013}$に最適化され、さらに$\unicode{x2013}$にアクセスできるデータが増えれば、パフォーマンスが向上する、というコンセンサスを反映している。
モデルがさまざまな現実世界のシナリオにデプロイされるとき、それらは必然的に戦略的環境に直面します。
本研究では,モデル間の相互作用と戦略的相互作用が,平衡における性能とモデルクラスの表現率の関係にどのように影響するか,という自然問題について考察する。
戦略的相互作用は従来のビュー$\unicode{x2013}$を破る可能性がある。つまり、モデルクラスが(無限のデータであっても)大きくなるにつれて、パフォーマンスが必ずしも単調に改善されるとは限らない。
戦略回帰,戦略分類,マルチエージェント強化学習など,いくつかの文脈において,この結果がもたらす意味を示す。
特に、これらの各設定は、より表現力の低いモデルクラスを最適化することで、より厳密な均衡結果が得られるブレースのパラドックスのような現象を許容することを示す。
これらの事例から,エージェントがゲーム内のアクションセットとして使用するさまざまなモデルクラスを選択しようとするゲームにおいて,モデル選択のための新しいパラダイムを提案する。
関連論文リスト
- Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。
モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。
我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
論文 参考訳（メタデータ） (2024-10-16T14:29:29Z) - What Matters for Model Merging at Scale? [94.26607564817786]
モデルマージは、複数の専門家モデルとより有能な単一モデルを組み合わせることを目的としている。
これまでの研究は主に、いくつかの小さなモデルをマージすることに焦点を当ててきた。
本研究は,大規模モデルマージの有用性を体系的に評価する。
論文 参考訳（メタデータ） (2024-10-04T17:17:19Z) - Large Model Strategic Thinking, Small Model Efficiency: Transferring Theory of Mind in Large Language Models [0.0]
微調整による小型かつ高性能な特殊アルゴリズムの実現可能性について検討する。
まず,異なる社会的文脈と異なる社会的ジレンマのゲームを組み合わせて,その回答を記録し,Q&Aの微調整に使用する,20種類のシナリオを持つ大規模事前学習モデルを提案する。
微調整されたより小さな言語モデルは、より小さな事前訓練されたモデルとより大きな相対性の間の性能のギャップを一貫して橋渡しすることを発見した。
論文 参考訳（メタデータ） (2024-08-05T20:49:48Z) - ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。
提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
論文 参考訳（メタデータ） (2023-12-14T15:53:07Z) - Training Trajectories of Language Models Across Scales [99.38721327771208]
言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。
異なるサイズの言語モデルは事前学習中にどのように学習するか?
より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
論文 参考訳（メタデータ） (2022-12-19T19:16:29Z) - Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。
SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。
SFSCは評価データセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-06-16T16:46:32Z) - CAMERO: Consistency Regularized Ensemble of Perturbed Language Models
with Weight Sharing [83.63107444454938]
本稿では,CAMEROと呼ばれる摂動モデルに基づく一貫性規則化アンサンブル学習手法を提案する。
具体的には、すべてのモデルで底層重みを共有し、異なるモデルの隠れ表現に異なる摂動を適用し、モデルの多様性を効果的に促進することができる。
大規模言語モデルを用いた実験により,CAMEROはアンサンブルモデルの一般化性能を大幅に向上することが示された。
論文 参考訳（メタデータ） (2022-04-13T19:54:51Z) - Mutual Modality Learning for Video Action Classification [74.83718206963579]
ビデオアクション分類のための単一モデルにマルチモーダルを組み込む方法を示す。
我々はSomething-v2ベンチマークで最先端の結果を得た。
論文 参考訳（メタデータ） (2020-11-04T21:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。