論文の概要: Towards LifeSpan Cognitive Systems

• arxiv url: http://arxiv.org/abs/2409.13265v2
• Date: Tue, 21 Jan 2025 05:50:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:04.109129
• Title: Towards LifeSpan Cognitive Systems
• Title（参考訳）: ライフスパン認知システムに向けて
• Authors: Yu Wang, Chi Han, Tongtong Wu, Xiaoxin He, Wangchunshu Zhou, Nafis Sadeq, Xiusi Chen, Zexue He, Wei Wang, Gholamreza Haffari, Heng Ji, Julian McAuley,
• Abstract要約: 複雑な環境と継続的に対話する人間のようなシステムを構築することは、いくつかの重要な課題を提示します。 我々は、この想定されたシステムをLifeSpan Cognitive System (LSCS)と呼ぶ。 LSCSの重要な特徴は、過去の経験を維持し、正確にリコールしながら、インクリメンタルで迅速な更新を行う機能である。
• 参考スコア（独自算出の注目度）: 94.8985839251011
• License:
• Abstract: Building a human-like system that continuously interacts with complex environments -- whether simulated digital worlds or human society -- presents several key challenges. Central to this is enabling continuous, high-frequency interactions, where the interactions are termed experiences. We refer to this envisioned system as the LifeSpan Cognitive System (LSCS). A critical feature of LSCS is its ability to engage in incremental and rapid updates while retaining and accurately recalling past experiences. In this paper we focus on the domain of Large Language Models (LLMs), where we identify two major challenges: (1) Abstraction and Experience Merging, and (2) Long-term Retention with Accurate Recall. These properties are essential for storing new experiences, organizing past experiences, and responding to the environment in ways that leverage relevant historical data. Unlike language models with continual learning, which typically rely on large corpora for fine-tuning and focus on improving performance within specific domains or tasks, LSCS must rapidly and incrementally update with new information from its environment at a high frequency. Existing technologies with the potential of solving the above two major challenges can be classified into four classes based on a conceptual metric called Storage Complexity, which measures the relative space required to store past experiences. Each of these four classes of technologies has its own strengths and limitations while we argue none of them alone can achieve LSCS alone. To this end, we propose a potential instantiation for LSCS that can integrate all four classes of technologies. The new instantiation, serving as a conjecture, operates through two core processes: Absorbing Experiences and Generating Responses.
• Abstract（参考訳）: シミュレーションされたデジタル世界であれ、人間社会であれ、複雑な環境と継続的に対話する人間のようなシステムを構築することは、いくつかの重要な課題を提示している。 これの中心は、相互作用を経験と呼ぶ連続して高周波の相互作用を可能にすることである。 本稿では,このシステムをLifeSpan Cognitive System (LSCS)と呼ぶ。 LSCSの重要な特徴は、過去の経験を維持し、正確にリコールしながら、インクリメンタルで迅速な更新を行う機能である。 本稿では,(1)抽象化と経験の融合,(2)正確なリコールによる長期維持という,2つの大きな課題を識別する,Large Language Models(LLMs)のドメインに注目した。 これらの特性は、新しい経験を保存し、過去の経験を整理し、関連する歴史的データを活用する方法で環境に反応するために不可欠である。 通常、微調整や特定のドメインやタスクのパフォーマンス向上に集中するために大きなコーパスに依存している継続学習を持つ言語モデルとは異なり、LSCSは環境からの新たな情報を高速かつ漸進的に更新する必要がある。 上記の2つの課題を解決する可能性を持つ既存の技術は、過去の経験を保存するのに必要な相対空間を測定する概念的尺度であるストレージ複雑度(Storage Complexity)に基づいて、4つのクラスに分類される。 これら4つの技術にはそれぞれ独自の強みと限界がありますが、LSCSだけでは達成できないと私たちは主張しています。 そこで本研究では,LSCSの4つのクラスをすべて統合可能なインスタンス化の可能性を提案する。 新たなインスタンス化は、予想として機能し、2つのコアプロセス(吸収経験と生成応答)を通して実行される。

関連論文リスト

• Hierarchical Subspaces of Policies for Continual Offline Reinforcement Learning [19.463863037999054]
  自律型ロボット工学やビデオゲームシミュレーションのような動的ドメインでは、エージェントは、以前獲得したスキルを維持しながら、新しいタスクに継続的に適応する必要がある。 継続的強化学習(Continuous Reinforcement Learning)として知られるこの継続的なプロセスは、過去の知識を忘れるリスクを含む重要な課題を提示します。 オフラインナビゲーション設定における連続学習を目的とした新しいフレームワークであるHILOW(HIerarchical LOW-rank Subspaces of Policies)を紹介する。
  論文  参考訳（メタデータ） (2024-12-19T14:00:03Z)
• InternLM-XComposer2.5-OmniLive: A Comprehensive Multimodal System for Long-term Streaming Video and Audio Interactions [104.90258030688256]
  本研究は,ストリーミング映像とオーディオ入力とのリアルタイムインタラクションを実現するために,非絡み合いのストリーミング知覚,推論,メモリ機構を導入している。 このプロジェクトは人間のような認知をシミュレートし、多モーダルな大規模言語モデルが時間とともに継続的かつ適応的なサービスを提供できるようにする。
  論文  参考訳（メタデータ） (2024-12-12T18:58:30Z)
• Self-Updatable Large Language Models with Parameter Integration [21.742149718161716]
  周囲のオブジェクトとのインタラクションのような小規模なエクスペリエンスは、大規模な言語モデルに頻繁に統合する必要があります。 現在の手法では、連続学習、モデル編集、知識蒸留技術を用いてモデルパラメータに経験を組み込む。 モデルパラメータに直接経験を組み込むSELF-PARAMを提案する。
  論文  参考訳（メタデータ） (2024-10-01T08:18:17Z)
• Continual Learning for Temporal-Sensitive Question Answering [12.76582814745124]
  現実のアプリケーションでは、静的で完全なデータセットに頼るのではなく、モデルが時間とともに知識を継続的に取得することが重要です。 本稿では,モデルが進化を続ける情報ランドスケープに適応できる戦略について検討する。 時間記憶再生と時間的コントラスト学習を統合したCLTSQAのトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-17T10:47:43Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Recall-Oriented Continual Learning with Generative Adversarial Meta-Model [5.710971447109951]
  本稿では,安定性・塑性ジレンマに対処するリコール指向連続学習フレームワークを提案する。 人間の脳が安定性と可塑性のメカニズムを分離する能力に触発されて、私たちのフレームワークは2段階のアーキテクチャで構成されています。 我々は,新たな知識を効果的に学習するだけでなく,従来の知識の安定性も高いことを示す。
  論文  参考訳（メタデータ） (2024-03-05T16:08:59Z)
• SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models [71.78800549517298]
  大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。 既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。 本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
  論文  参考訳（メタデータ） (2024-01-16T11:45:03Z)
• Federated Continual Learning via Knowledge Fusion: A Survey [33.74289759536269]
  FCL(Federated Continual Learning)は、フェデレートされた学習環境と継続的な学習環境の両方において、モデル学習に対処する新たなパラダイムである。 FCLの主な目的は、異なるクライアントからの異種知識を融合し、新しいタスクを学習しながら、以前のタスクの知識を保持することである。 本研究は,フェデレーション学習と継続学習をまず重視し,その統合,すなわちFCL,特にFCLを知識融合を通じて議論する。
  論文  参考訳（メタデータ） (2023-12-27T08:47:39Z)
• Towards Ubiquitous Semantic Metaverse: Challenges, Approaches, and Opportunities [68.03971716740823]
  近年,拡張現実(AR)および仮想現実(VR)ユーザーのための没入型サイバーバーチャル体験に革命をもたらすために,ユビキタスセマンティック・メタバースが研究されている。 この調査は、ユビキタスメタバースにおける4つの基本システムコンポーネントの表現とインテリジェンスに焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-13T11:14:46Z)
• LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning [64.55001982176226]
  LIBEROは、ロボット操作のための生涯学習の新しいベンチマークである。 宣言的知識、手続き的知識、あるいは両者の混在を効率的に伝達する方法に焦点を当てる。 我々は、無限に多くのタスクを生成できる拡張可能な手続き生成パイプラインを開発した。
  論文  参考訳（メタデータ） (2023-06-05T23:32:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。