論文の概要: Strategic resource allocation in memory encoding: An efficiency principle shaping language processing

• arxiv url: http://arxiv.org/abs/2503.14728v1
• Date: Tue, 18 Mar 2025 20:58:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:24:16.967013
• Title: Strategic resource allocation in memory encoding: An efficiency principle shaping language processing
• Title（参考訳）: メモリ符号化におけるストラテジックリソース割り当て:効率原理による言語処理
• Authors: Weijie Xu, Richard Futrell,
• Abstract要約: 文処理におけるメモリ符号化の効率原理としての戦略的資源割り当てについて検討する。 生産と理解の両面から, 依存関係の局所性の観点から, 戦略的資源配分の確固たる証拠を見出した。 また,言語固有のフレーズ構造とどのように相互作用するかを,戦略的資源配分の原理として,より深く検討する必要があることを示す。
• 参考スコア（独自算出の注目度）: 5.765747251519448
• License:
• Abstract: How is the limited capacity of working memory efficiently used to support human linguistic behaviors? In this paper, we investigate strategic resource allocation as an efficiency principle for memory encoding in sentence processing. The idea is that working memory resources are dynamically and strategically allocated to prioritize novel and unexpected information, enhancing their representations to make them less susceptible to memory decay and interference. Theoretically, from a resource-rational perspective, we argue that this efficiency principle naturally arises from two functional assumptions about working memory, namely, its limited capacity and its noisy representation. Empirically, through naturalistic corpus data, we find converging evidence for strategic resource allocation in the context of dependency locality from both the production and the comprehension side, where non-local dependencies with less predictable antecedents are associated with reduced locality effect. However, our results also reveal considerable cross-linguistic variability, highlighting the need for a closer examination of how strategic resource allocation, as a universal efficiency principle, interacts with language-specific phrase structures.
• Abstract（参考訳）: 作業記憶の限界は、人間の言語行動を支援するためにどのように利用されているか? 本稿では,文処理におけるメモリ符号化の効率原理として,戦略的資源割り当てを検討する。 作業メモリリソースは、新しい情報や予期せぬ情報を優先順位付けするために動的かつ戦略的に割り当てられ、その表現を強化して、メモリの劣化や干渉の影響を受けにくくする、という考え方である。 理論的には、資源相対論的観点から、この効率原理は、作業記憶に関する2つの機能的仮定、すなわち、その限られた容量とノイズのある表現から自然に生じると論じる。 実演的に、自然主義コーパスデータを通して、生産側と理解側の両方からの依存局所性の文脈における戦略的資源配分の確固たる証拠を見出す。 しかし,本研究の結果は,言語固有の句構造とどのように相互作用するかを,戦略的資源配分の普遍的効率原理として,より深く検討する必要があることを示す。

関連論文リスト

• Structured Token Retention and Computational Memory Paths in Large Language Models [0.0]
  本稿では,文脈的重要性に基づいてトークンの永続化を動的に調整する確率的選択フレームワークを提案する。 階層的なメモリ割り当てによって拡張され、トークン埋め込みの構造化された再配置によって保持効率を向上する。 STRとCMPのオープンソースモデルへの統合は、構造化メモリ保持手法の適応性を示している。
  論文  参考訳（メタデータ） (2025-02-05T11:59:22Z)
• Autonomous Structural Memory Manipulation for Large Language Models Using Hierarchical Embedding Augmentation [0.0]
  本研究では,マルチレベルセマンティック構造を通じてトークンの表現を再定義する手段として,階層的な埋め込み拡張を導入する。 その結果、より長い入力シーケンスに対して処理オーバーヘッドが大幅に削減され、計算効率が大幅に向上した。 トークン表現とメモリ構成を動的に調整する能力は、様々な予測不可能な入力条件下でモデルの堅牢性に寄与した。
  論文  参考訳（メタデータ） (2025-01-23T22:20:36Z)
• Architectural Fusion Through Contextual Partitioning in Large Language Models: A Novel Approach to Parameterized Knowledge Integration [0.0]
  本稿では,パラメータの動的セグメンテーションをコンテキスト対応領域に分割することで,大規模計算モデルのアーキテクチャ設計を強化するための革新的なアプローチを提案する。 実験による評価は、様々な言語課題における精度、難易度、文脈的コヒーレンスを大幅に改善したことを示す。 これらの知見は、多様かつ複雑な領域における計算言語アーキテクチャのスケーラビリティと適応性を再定義するコンテキスト分割の可能性を示すものである。
  論文  参考訳（メタデータ） (2025-01-22T14:21:04Z)
• Goal-oriented Communications based on Recursive Early Exit Neural Networks [14.538977446476684]
  計算を動的に分割するイノベーティブ・アーリーエグジット戦略を導入する。 我々は,早期終了点,計算分割,オフロード戦略を共同で決定する強化学習ベースのオンライン最適化フレームワークを開発した。 エッジ推論シナリオにおける数値評価は, 性能, レイテンシ, 資源効率の優れたトレードオフを打破する手法の適応性と有効性を示すものである。
  論文  参考訳（メタデータ） (2024-12-27T11:14:11Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Performance Optimization for Semantic Communications: An Attention-based Reinforcement Learning Approach [187.4094332217186]
  テキストデータ伝送のためのセマンティック通信フレームワークを提案する。 回復したテキストの意味的精度と完全性を共同でキャプチャする意味的類似度尺度(MSS)を提案する。
  論文  参考訳（メタデータ） (2022-08-17T11:39:16Z)
• Representation Learning for Resource-Constrained Keyphrase Generation [78.02577815973764]
  本稿では,言語モデリングの目的を導くために,有能なスパンリカバリと有能なスパン予測を導入する。 提案手法が低リソースおよびゼロショットのキーフレーズ生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-15T17:48:04Z)
• Deep Learning-based Resource Allocation For Device-to-Device Communication [66.74874646973593]
  デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。 任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。 シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
  論文  参考訳（メタデータ） (2020-11-25T14:19:23Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)
• Deep Learning-based Resource Allocation for Infrastructure Resilience [0.5249805590164901]
  意思決定者は、トレーニングされたモデルを使用して、緊急時にリソースをより効率的に割り当てることができます。 本稿では,TNのシェルビー郡における実世界の相互依存インフラによる方法論について紹介する。
  論文  参考訳（メタデータ） (2020-07-12T00:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。