論文の概要: Utility-Learning Tension in Self-Modifying Agents

• arxiv url: http://arxiv.org/abs/2510.04399v1
• Date: Sun, 05 Oct 2025 23:52:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.631573
• Title: Utility-Learning Tension in Self-Modifying Agents
• Title（参考訳）: 自己改質剤の実用性学習力
• Authors: Charles L. Wang, Keir Dorchen, Peter Jin,
• Abstract要約: 本研究では,即時ないし期待される性能を改善するユーティリティ駆動型変更により,信頼性のある学習と一般化のための統計的前提条件を省くことができることを示す。 本研究は, 配電保証が保留されていること, ポリシ到達可能なモデルファミリが一様に容量制限されていることを示唆する。 現実に共通する標準的な仮定では、これらの軸は同じ容量の基準に還元され、安全な自己修正のための単一の境界となる。
• 参考スコア（独自算出の注目度）: 0.12744523252873352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As systems trend toward superintelligence, a natural modeling premise is that agents can self-improve along every facet of their own design. We formalize this with a five-axis decomposition and a decision layer, separating incentives from learning behavior and analyzing axes in isolation. Our central result identifies and introduces a sharp utility--learning tension, the structural conflict in self-modifying systems whereby utility-driven changes that improve immediate or expected performance can also erode the statistical preconditions for reliable learning and generalization. Our findings show that distribution-free guarantees are preserved iff the policy-reachable model family is uniformly capacity-bounded; when capacity can grow without limit, utility-rational self-changes can render learnable tasks unlearnable. Under standard assumptions common in practice, these axes reduce to the same capacity criterion, yielding a single boundary for safe self-modification. Numerical experiments across several axes validate the theory by comparing destructive utility policies against our proposed two-gate policies that preserve learnability.
• Abstract（参考訳）: システムの超知性へのトレンドとして、自然なモデリングの前提は、エージェントが自身のデザインのあらゆる面に沿って自己改善できることである。 我々はこれを5軸分解と決定層で形式化し、学習行動からインセンティブを分離し、軸を分離して分析する。 我々の中心的な成果は、即時または期待されるパフォーマンスを改善するユーティリティ駆動的な変更が、信頼性のある学習と一般化のための統計的前提条件を損なうことができる自己修正システムにおける、鋭いユーティリティ-ラーニングの緊張を識別し、導入することである。 本研究は, 分散フリーの保証は, ポリシ到達可能なモデルファミリが一様容量で保持されていることを示し, 容量が制限なく成長できる場合, ユーティリティ・リレーショナル・セルフチェンジは学習可能なタスクを学習不能にすることができることを示した。 現実に共通する標準的な仮定では、これらの軸は同じ容量の基準に還元され、安全な自己修正のための単一の境界となる。 複数の軸にまたがる数値実験は、学習可能性を維持するための2つのゲートポリシーに対して、破壊的なユーティリティポリシーを比較して、理論を検証している。

関連論文リスト

• Gaming and Cooperation in Federated Learning: What Can Happen and How to Monitor It [0.0]
  分析フレームワークは、パフォーマンスを真に向上する振る舞いを、単にメトリクスをターゲットとしているものから明確に識別することを可能にする。 行動インセンティブと集団的パフォーマンス損失を定量化する指標を2つ導入する。 限られた監査資源を割り当てる実用的なアルゴリズムと性能保証を提供する。
  論文  参考訳（メタデータ） (2025-09-02T14:55:01Z)
• Can Large Reasoning Models Self-Train? [58.953117118687096]
  大規模言語モデルのスケールは、人間の監督への依存を減らす方法にますます依存している。 本稿では,自己整合性を利用したオンライン自己学習型強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-05-27T17:16:00Z)
• SAMBO-RL: Shifts-aware Model-based Offline Reinforcement Learning [9.88109749688605]
  モデルに基づくオフライン強化学習は、事前コンパイルされたデータセットと学習環境モデルを使用してポリシーを訓練する。 本稿では,問題をモデルバイアスとポリシーシフトという2つの基本要素に分解する包括的分析を行う。 本稿では,モデルに基づくオフライン強化学習(SAMBO-RL)について紹介する。
  論文  参考訳（メタデータ） (2024-08-23T04:25:09Z)
• Conformal Policy Learning for Sensorimotor Control Under Distribution Shifts [61.929388479847525]
  本稿では,センサコントローラの観測値の分布変化を検知・応答する問題に焦点をあてる。 鍵となる考え方は、整合量子を入力として取ることができるスイッチングポリシーの設計である。 本稿では, 基本方針を異なる特性で切り替えるために, 共形量子関数を用いてこのようなポリシーを設計する方法を示す。
  論文  参考訳（メタデータ） (2023-11-02T17:59:30Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Learning Robust Models Using The Principle of Independent Causal Mechanisms [26.79262903241044]
  ICMの原理から目的関数を導出する勾配学習フレームワークを提案する。 理論的、実験的に、このフレームワークで訓練されたニューラルネットワークは、環境間で不変な関係に重点を置いていることを示す。
  論文  参考訳（メタデータ） (2020-10-14T15:38:01Z)
• Efficient Empowerment Estimation for Unsupervised Stabilization [75.32013242448151]
  エンパワーメント原理は 直立位置での 力学系の教師なし安定化を可能にする 本稿では,ガウスチャネルとして動的システムのトレーニング可能な表現に基づく代替解を提案する。 提案手法は, サンプルの複雑さが低く, 訓練時より安定であり, エンパワーメント機能の本質的特性を有し, 画像からエンパワーメントを推定できることを示す。
  論文  参考訳（メタデータ） (2020-07-14T21:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。