論文の概要: Intrinsic Motivation in Reinforcement Learning: A Research Agenda for Adaptive Self-Organisation

• arxiv url: http://arxiv.org/abs/2609.17325v1
• Date: Tue, 15 Sep 2026 15:29:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.599952
• Title: Intrinsic Motivation in Reinforcement Learning: A Research Agenda for Adaptive Self-Organisation
• Title（参考訳）: 強化学習における本質的なモチベーション:適応的自己組織化のための研究アジェンダ
• Abstract要約: 人工神経システムにおける本質的な報酬が適応、機能的専門化、高レベルの自己組織化をサポートするかどうかを論じる。 我々は、より有能なシステムは、補完的な目的、コミュニケーション、記憶、複数の時間スケールでの学習、環境制約を必要とするかもしれないと論じる。 実験は、本質的な学習が適応的な組織を徐々に高いレベルに導くことができるかどうかをテストすることを目的としている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biological cells can be viewed as individual, interacting agents whose collective dynamics give rise to adaptive behaviour at multiple levels of organisation, from individual cells through tissues to whole multicellular organisms. In this perspective and tutorial article we discuss whether intrinsic rewards in artificial neural systems can support adaptation, functional specialisation and higher-level self-organisation without a shared external objective. We review empowerment, curiosity, learning progress, information gain, unsupervised skill discovery, mutual information estimation and the use of world models for intrinsic reward computation. Particular attention is given to failure modes showing when such objectives do not produce sustained exploration or increasingly complex behaviour. We argue that more capable systems may require complementary objectives, communication, memory, learning at multiple temporal scales and environmental constraints. Based on this perspective, we outline three experimental directions. These include a resource-constrained environment in which otherwise stable behavioural attractors become unsustainable, allowing us to test whether environmental constraints can mitigate characteristic failure modes of intrinsic objectives. The network of recurrent agents with per-agent intrinsic rewards, and a hierarchical world-model agent in which exploratory motor competence develops before goal-directed behaviour. These experiments are intended to test whether intrinsic learning can lead to adaptive organisation at progressively higher levels.
• Abstract（参考訳）: 生物学的細胞は、個々の細胞から組織、そして全多細胞生物に至るまで、様々なレベルの組織において適応的な行動を引き起こす、相互作用するエージェントとみなすことができる。 本稿では,人工神経システムにおける本質的な報酬が,適応,機能的専門化,高レベルの自己組織化を,共通の外部的目的を持たずに支援できるかどうかを論じる。 本稿では,能力向上,好奇心,学習の進歩,情報獲得,教師なしスキル発見,相互情報推定,世界モデルを用いた固有報酬計算について検討する。 障害モードに特に注意が払われるのは、そのような目的が持続的な探索や、ますます複雑な振る舞いを生まない場合である。 我々は、より有能なシステムは、補完的な目的、コミュニケーション、記憶、複数の時間スケールでの学習、環境制約を必要とするかもしれないと論じる。 この観点から,3つの実験的方向性を概説する。 環境制約が本質的な目的の特有の障害モードを緩和できるかどうかを検証できる。 反復エージェントのネットワークは、エージェントごとの固有報酬と、探索運動能力がゴール指向行動の前に発達する階層的世界モデルエージェントである。 これらの実験は、本質的な学習が適応的な組織を徐々に高いレベルに導くことができるかどうかをテストすることを目的としている。

関連論文リスト

• Agentic Reasoning for Large Language Models [122.81018455095999]
  推論は推論、問題解決、意思決定の基礎となる基本的な認知プロセスである。 大規模言語モデル(LLM)は、クローズドワールド設定では強力な推論能力を示すが、オープンエンドおよび動的環境では苦労する。 エージェント推論は、連続的な相互作用を計画し、行動し、学習する自律的なエージェントとしてLLMを解釈することでパラダイムシフトを示す。
  論文  参考訳（メタデータ） (2026-01-18T18:58:23Z)
• Survival is the Only Reward: Sustainable Self-Training Through Environment-Mediated Selection [0.27087606206363224]
  本稿では,外部フィードバックとバウンドメモリの下での安定した自己学習のための概念実証システムアーキテクチャを提案する。 学習は、報酬、客観的機能、または外部的に定義された適合度基準によってではなく、環境の生存性によってのみ媒介される自己学習アーキテクチャを導入する。
  論文  参考訳（メタデータ） (2026-01-18T08:35:56Z)
• Truly Self-Improving Agents Require Intrinsic Metacognitive Learning [59.60803539959191]
  自己改善エージェントは、最小限の監督で継続的に新しい能力を取得することを目的としている。 現在のアプローチは2つの重要な制限に直面している。自己改善プロセスは、しばしば厳格であり、タスクドメイン全体にわたって一般化できない。 我々は、効果的な自己改善は、エージェントの本質的な能力として定義された固有のメタ認知学習を必要とし、自身の学習プロセスを積極的に評価し、反映し、適応させる。
  論文  参考訳（メタデータ） (2025-06-05T14:53:35Z)
• Emergence of Goal-Directed Behaviors via Active Inference with Self-Prior [4.863927022806184]
  幼児は、外部報酬基準が提供されていない場合でも、感覚刺激に手を伸ばすなど、目標指向の行動を示すことが多い。 我々は「自己優先」と呼ばれるエージェント自身のマルチモーダル感覚経験のための新しい密度モデルを提案する。 本研究は、エージェント自身の感覚経験によって形成される本態的に動機づけられた行動を実装し、初期発達における意図的行動の自然発生を実証する。
  論文  参考訳（メタデータ） (2025-04-15T11:16:27Z)
• Collaborative Training of Heterogeneous Reinforcement Learning Agents in Environments with Sparse Rewards: What and When to Share? [7.489793155793319]
  本研究は,本質的なモチベーションを通じて得られた情報と,より効率的な探索と学習の高速化を目的とした情報を組み合わせることに焦点を当てる。 計算コストの少ない協調的なフレームワークが知識を共有することなく独立した学習プロセスより優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-24T16:15:51Z)
• Information is Power: Intrinsic Control via Information Capture [110.3143711650806]
  我々は,潜時状態空間モデルを用いて推定したエージェントの状態訪問のエントロピーを最小化する,コンパクトで汎用的な学習目的を論じる。 この目的は、不確実性の低減に対応する環境情報収集と、将来の世界状態の予測不可能性の低減に対応する環境制御の両方をエージェントに誘導する。
  論文  参考訳（メタデータ） (2021-12-07T18:50:42Z)
• Inducing Functions through Reinforcement Learning without Task Specification [5.8010446129208155]
  本稿では,ネットワーク内の高次機能を誘導する強化学習を通じて,ニューラルネットワークをトレーニングするためのバイオインスパイアされたフレームワークについて報告する。 実験結果から,画像分類や隠れ変数推定などの高次関数は,事前学習や特定を行うことなく,自然かつ同時に生成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-23T04:42:02Z)
• Understanding the origin of information-seeking exploration in probabilistic objectives for control [62.997667081978825]
  探索と探索のトレードオフは適応行動の記述の中心である。 このトレードオフを解決する1つのアプローチは、エージェントが固有の「探索駆動」を持っていることを装備または提案することであった。 汎用的最大化と情報参照行動の組み合わせは, 目的の全く異なる分類の最小化から生じることを示す。
  論文  参考訳（メタデータ） (2021-03-11T18:42:39Z)
• Tracking Emotions: Intrinsic Motivation Grounded on Multi-Level Prediction Error Dynamics [68.8204255655161]
  目標達成に向けての進捗率と期待率の差が生じると、感情がどのように生じるかについて議論する。 自己生成的・動的目標に向けた行動を生成する本質的なモチベーションアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-07-29T06:53:13Z)
• Mutual Information-based State-Control for Intrinsically Motivated Reinforcement Learning [102.05692309417047]
  強化学習において、エージェントは、外部報酬信号を用いて一連の目標に到達することを学習する。 自然界では、知的生物は内部の駆動から学習し、外部の信号を必要としない。 目的状態と制御可能な状態の間の相互情報として本質的な目的を定式化する。
  論文  参考訳（メタデータ） (2020-02-05T19:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。