論文の概要: Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light

• arxiv url: http://arxiv.org/abs/2507.11482v3
• Date: Mon, 28 Jul 2025 18:54:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 14:59:51.359969
• Title: Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light
• Title（参考訳）: 進化的光下における強化学習の3匹の犬のイリュージョン
• Authors: Mani Hamidi, Terrence W. Deacon,
• Abstract要約: 強化学習の核となる3つの要素は、概念修正の鍵となる標的として強調されている。 我々は,これら3つの「ドッグマ」を再考するために,オープンエンド進化論に触発された枠組みを提案する。 まず、進化のダイナミクスが個体の生涯を通して、生きた脳内で確実に機能できることを証明します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Three core tenets of reinforcement learning (RL)--concerning the definition of agency, the objective of learning, and the scope of the reward hypothesis--have been highlighted as key targets for conceptual revision, with major implications for theory and application. We propose a framework, inspired by open-ended evolutionary theory, to reconsider these three "dogmas." We revisit each assumption and address related concerns raised alongside them. To make our arguments relevant to RL as a model of biological learning, we first establish that evolutionary dynamics can plausibly operate within living brains over an individual's lifetime, and are not confined to cross-generational processes. We begin by revisiting the second dogma, drawing on evolutionary insights to enrich the "adaptation-rather-than-search" view of learning. We then address the third dogma regarding the limits of the reward hypothesis, using analogies from evolutionary fitness to illuminate the scalar reward vs. multi-objective debate. After discussing practical implications for exploration in RL, we turn to the first--and arguably most fundamental--issue: the absence of a formal account of agency. We argue that unlike the other two problems, the evolutionary paradigm alone cannot resolve the agency question, though it gestures in a productive direction. We advocate integrating ideas from origins-of-life theory, where the thermodynamics of sustenance and replication offer promising foundations for understanding agency and resource-constrained reinforcement learning in biological systems.
• Abstract（参考訳）: 強化学習(RL)の中核となる3つの要素 - エージェントの定義、学習の目的、報酬仮説の範囲 - は概念修正の鍵となる目標として強調され、理論と応用に大きな意味がある。 本稿では,これら3つの「教義」を再考する枠組みを提案する。 各仮定を再検討し、それに伴う懸念に対処する。 生物学習のモデルとしてRLに関連付けるために、我々はまず、進化力学が個体の生涯を通して生きた脳内で確実に機能し、世代間プロセスに制限されないことを証明した。 まず、第2のドグマを再考し、進化的洞察に基づいて学習の「適応から探索まで」の視点を豊かにすることから始める。 次に,報酬仮説の限界について,スカラー報酬と多目的討論を照らすために,進化的適合性の類似性を用いて,第3のドグマに対処する。 RLにおける探索の実践的な意味を議論した後、我々は第一、そして間違いなく最も基本的な問題、すなわち機関の正式な説明がないことに目を向ける。 他の2つの問題とは異なり、進化パラダイムだけでは、生産的な方向へのジェスチャーでは、エージェンシーの問題は解決できない、と我々は主張する。 本論では, 生物系におけるサステナンスと複製の熱力学が, 生物系におけるエージェントの理解と資源制約による強化学習の基盤として有望な基盤を提供する, 生命の起源理論からのアイデアの統合を提唱する。

関連論文リスト

• Thinking with Images for Multimodal Reasoning: Foundations, Methods, and Future Frontiers [90.4459196223986]
  同様の進化がAIで展開され、単にイメージについて考えるモデルから、イメージについて真に考えるモデルへのパラダイムシフトを象徴している。 この新たなパラダイムは、視覚情報を思考過程の中間ステップとして活用するモデルによって特徴づけられ、視覚を受動的に操作可能な認知ワークスペースに変換する。
  論文  参考訳（メタデータ） (2025-06-30T14:48:35Z)
• Evolutionary Developmental Biology Can Serve as the Conceptual Foundation for a New Design Paradigm in Artificial Intelligence [15.376349115976534]
  人工知能(AI)は複雑なタスクの解決に大きく貢献している。 現在のニューラルネットワークベースのパラダイムは、有効ではあるが、固有の制限によって厳しく制約されている。 進化的理解の最近のパラダイムシフトは、AI文学でほとんど見過ごされてきた。
  論文  参考訳（メタデータ） (2025-06-15T15:41:44Z)
• Towards Understanding How Knowledge Evolves in Large Vision-Language Models [55.82918299608732]
  我々はマルチモーダル知識がどのように進化し、最終的にLVLM(Large Vision-Language Models)において自然言語を誘導するかを考察する。 知識進化における2つの重要なノードを同定する: 臨界層と突然変異層、進化過程を3段階に分割する: 急速な進化、安定化、突然変異。 我々の研究は、LVLMにおける知識進化の軌跡を初めて明らかにし、その基盤となるメカニズムを理解するための新たな視点を提供する。
  論文  参考訳（メタデータ） (2025-03-31T17:35:37Z)
• Three Dogmas of Reinforcement Learning [13.28320102989073]
  現代の強化学習は、少なくとも3つのドッグマによって条件付けられている。 ひとつは環境スポットライトであり、エージェントではなく環境をモデリングする傾向を示している。 2つ目は、適応ではなく、タスクの解決策を見つけるものとしての学習の扱いです。 3つ目は報酬仮説であり、すべての目標と目的は報奨信号としてよく考えることができるというものである。
  論文  参考訳（メタデータ） (2024-07-15T10:03:24Z)
• When Large Language Models Meet Evolutionary Algorithms: Potential Enhancements and Challenges [50.280704114978384]
  事前訓練された大規模言語モデル(LLM)は、自然なテキストを生成する強力な能力を示す。 進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。
  論文  参考訳（メタデータ） (2024-01-19T05:58:30Z)
• The Evolution theory of Learning: From Natural Selection to Reinforcement Learning [0.0]
  強化学習は、人工知能において、環境から学習するインテリジェントエージェントを開発するための強力なツールである。 近年、研究者たちはこれら2つの明らかに異なる分野の関連性を探り、これまで考えられていたよりも密接な関係にあるという説得力のある証拠を発見した。 本稿では、これらの関係とその意味を考察し、進化システムにおける進化の理解とフィードバックの役割を高めるための強化学習原則の可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-06-16T16:44:14Z)
• Towards a Theory of Evolution as Multilevel Learning [0.0]
  生命の起源を含む生物学的進化の理論を多段階学習として発展させるために, 物理的に再正規化可能なシステムに学習理論を適用した。 我々は、宇宙を観測可能なものにするのに必要で十分と思われる進化の7つの基本原理を定式化する。 これらの原理は、複製や自然選択を含む生物進化の主要な特徴を包含していることを示す。
  論文  参考訳（メタデータ） (2021-10-27T17:21:16Z)
• Interpretable Reinforcement Learning Inspired by Piaget's Theory of Cognitive Development [1.7778609937758327]
  本稿では,思考の言語(LOTH)やスクリプト理論,ピアジェの認知発達理論などの理論が相補的なアプローチを提供するという考えを楽しませる。 提案するフレームワークは,人工知能システムにおいて,人間のような認知を実現するためのステップとみなすことができる。
  論文  参考訳（メタデータ） (2021-02-01T00:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。