論文の概要: Control when confidence is costly

• arxiv url: http://arxiv.org/abs/2406.14427v2
• Date: Tue, 29 Oct 2024 18:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:22:31.170580
• Title: Control when confidence is costly
• Title（参考訳）: 信頼が犠牲になるときの制御
• Authors: Itzel Olivos-Castillo, Paul Schrater, Xaq Pitkow,
• Abstract要約: 我々は、推論の計算コストを考慮に入れた制御バージョンを開発する。 線形二次ガウス (LQG) 制御について, 後続確率の相対的精度について, 内部コストを加算して検討した。 共同推論と制御問題を解く合理的戦略は,タスク要求に応じて相転移を経る。
• 参考スコア（独自算出の注目度）: 4.683612295430957
• License:
• Abstract: We develop a version of stochastic control that accounts for computational costs of inference. Past studies identified efficient coding without control, or efficient control that neglects the cost of synthesizing information. Here we combine these concepts into a framework where agents rationally approximate inference for efficient control. Specifically, we study Linear Quadratic Gaussian (LQG) control with an added internal cost on the relative precision of the posterior probability over the world state. This creates a trade-off: an agent can obtain more utility overall by sacrificing some task performance, if doing so saves enough bits during inference. We discover that the rational strategy that solves the joint inference and control problem goes through phase transitions depending on the task demands, switching from a costly but optimal inference to a family of suboptimal inferences related by rotation transformations, each misestimate the stability of the world. In all cases, the agent moves more to think less. This work provides a foundation for a new type of rational computations that could be used by both brains and machines for efficient but computationally constrained control.
• Abstract（参考訳）: 我々は推論の計算コストを考慮に入れた確率制御のバージョンを開発する。 過去の研究では、情報を合成するコストを無視した効率的なコーディングや効率的な制御を制御せずに特定した。 ここでこれらの概念を、エージェントが効率的に制御するための推論を合理的に近似するフレームワークに結合する。 具体的には、線形二次ガウス制御(LQG)について、世界国家における後続確率の相対的精度について、内部コストを加算して検討する。 エージェントは、推論中に十分なビットを節約すれば、タスクのパフォーマンスを犠牲にすることで、全体的なユーティリティを得ることができます。 共同推論と制御問題を解く合理的戦略は、タスク要求に応じて相転移し、コストがかかるが最適な推論から、回転変換によって関係づけられた準最適推論の族に切り替わる。 いずれにせよ、エージェントは思考を少なくする傾向にある。 この研究は、脳と機械の両方が効率的なが計算的に制約された制御に使用できる新しいタイプの有理計算の基礎を提供する。

関連論文リスト

• Stochastic Optimal Control Matching [53.156277491861985]
  最適制御のための新しい反復拡散最適化(IDO)技術である最適制御マッチング(SOCM)を導入する。 この制御は、一致するベクトル場に適合しようとすることで、最小二乗問題を通じて学習される。 実験により,本アルゴリズムは最適制御のための既存のすべての IDO 手法よりも低い誤差を実現する。
  論文  参考訳（メタデータ） (2023-12-04T16:49:43Z)
• Learning Computational Efficient Bots with Costly Features [9.39143793228343]
  本稿では,入力特徴の計算コストを考慮した汎用的なオフライン学習手法を提案する。 本稿では,D4RLベンチマークや複雑な3D環境など,様々なタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-08-18T15:43:31Z)
• Quantization for decentralized learning under subspace constraints [61.59416703323886]
  エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。 本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。 この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
  論文  参考訳（メタデータ） (2022-09-16T09:38:38Z)
• Should All Proposals be Treated Equally in Object Detection? [110.27485090952385]
  オブジェクト検出器の複雑さと精度のトレードオフは、リソース制約されたビジョンタスクにとって重要な問題である。 検出効率の改善には、提案の不平等な処理に向けて、パラダイムシフトが必要であると仮定されている。 これにより、利用可能な計算予算がより有効になり、同じFLOPSの精度が向上する。
  論文  参考訳（メタデータ） (2022-07-07T18:26:32Z)
• Planning with Dynamically Estimated Action Costs [2.8326418377665346]
  実際のAI計画アプリケーションには、アクションコストに関する情報が不可欠だ。 近年のアプローチでは、データからしばしば学習されるブラックボックス外部アクションコスト推定器が計画段階で適用されている。 本稿では,行動コストを考慮した決定論的計画の一般化を提案する。
  論文  参考訳（メタデータ） (2022-06-08T21:10:37Z)
• Efficient Online Linear Control with Stochastic Convex Costs and Unknown Dynamics [0.0]
  本稿では,最良安定化線形コントローラに対して,最適$sqrtT$後悔率を得る計算効率のよいアルゴリズムを提案する。 これまでの研究とは対照的に,我々のアルゴリズムは顔の不確実性パラダイムにおける最適化に基づいている。
  論文  参考訳（メタデータ） (2022-03-02T15:19:20Z)
• An Experimental Design Perspective on Model-Based Reinforcement Learning [73.37942845983417]
  環境からの状態遷移を観察するのは費用がかかる。 標準RLアルゴリズムは通常、学習するために多くの観測を必要とする。 本稿では,マルコフ決定過程について,状態-作用対がどの程度の情報を提供するかを定量化する獲得関数を提案する。
  論文  参考訳（メタデータ） (2021-12-09T23:13:57Z)
• Utilizing Redundancy in Cost Functions for Resilience in Distributed Optimization and Learning [1.8414221462731502]
  本稿では,サーバアーキテクチャにおけるレジリエントな分散最適化と機械学習の問題について考察する。 システムはサーバと複数のエージェントから構成され、各エージェントはローカルなコスト関数を持つ。 エージェントのいくつかが非同期で、/またはビザンティンの欠陥がある場合を考えます。
  論文  参考訳（メタデータ） (2021-10-21T02:41:19Z)
• Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning [99.34907092347733]
  本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。 局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。 他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
  論文  参考訳（メタデータ） (2021-06-28T00:38:54Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)
• Controlling Computation versus Quality for Neural Sequence Models [42.525463454120256]
  条件付き計算は、推論中にニューラルシーケンスモデル(トランスフォーマー)をより効率的かつ計算に適応させる。 i)WMT英仏訳と(ii)教師なし表現学習(BERT)の2つの課題に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2020-02-17T17:54:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。