論文の概要: Strategic resource allocation in memory encoding: An efficiency principle shaping language processing

• arxiv url: http://arxiv.org/abs/2503.14728v2
• Date: Fri, 29 Aug 2025 17:15:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 15:42:25.826998
• Title: Strategic resource allocation in memory encoding: An efficiency principle shaping language processing
• Title（参考訳）: メモリ符号化におけるストラテジックリソース割り当て:効率原理による言語処理
• Authors: Weijie Xu, Richard Futrell,
• Abstract要約: 本稿では,文処理におけるメモリ符号化の効率原理として,ストラテジックリソース割当を提案する。 資源相対論的観点から、SRAは作業記憶に関する2つの機能的仮定によって引き起こされる計算問題の原理的な解であると主張する。 SRAの重大な影響の1つは、驚くべき入力が拡張された表現で符号化されているため、メモリ崩壊や干渉の影響を受けにくいことである。
• 参考スコア（独自算出の注目度）: 6.307485015636125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How is the limited capacity of working memory efficiently used to support human linguistic behaviors? In this paper, we propose Strategic Resource Allocation (SRA) as an efficiency principle for memory encoding in sentence processing. The idea is that working memory resources are dynamically and strategically allocated to prioritize novel and unexpected information. From a resource-rational perspective, we argue that SRA is the principled solution to a computational problem posed by two functional assumptions about working memory, namely its limited capacity and its noisy representation. Specifically, working memory needs to minimize the retrieval error of past inputs under the constraint of limited memory resources, an optimization problem whose solution is to allocate more resources to encode more surprising inputs with higher precision. One of the critical consequences of SRA is that surprising inputs are encoded with enhanced representations, and therefore are less susceptible to memory decay and interference. Empirically, through naturalistic corpus data, we find converging evidence for SRA in the context of dependency locality from both production and comprehension, where non-local dependencies with less predictable antecedents are associated with reduced locality effect. However, our results also reveal considerable cross-linguistic variability, suggesting the need for a closer examination of how SRA, as a domain-general memory efficiency principle, interacts with language-specific phrase structures. SRA highlights the critical role of representational uncertainty in understanding memory encoding. It also reimages the effects of surprisal and entropy on processing difficulty from the perspective of efficient memory encoding.
• Abstract（参考訳）: 作業記憶能力の限界は、人間の言語行動を支援するためにどのように利用されているか? 本稿では,文処理におけるメモリ符号化の効率化原理として,SRA(Strategic Resource Allocation)を提案する。 作業メモリリソースは、新しい情報や予期せぬ情報を優先するために動的かつ戦略的に割り当てられる。 資源相対論的観点から、SRAは作業記憶に関する2つの機能的仮定、すなわちその限られた容量とノイズ表現による計算問題の原理的解であると主張する。 特に、動作メモリは、限られたメモリリソースの制約の下で過去の入力の検索エラーを最小限に抑える必要がある。 SRAの重大な影響の1つは、驚くべき入力が拡張された表現で符号化されているため、メモリ崩壊や干渉の影響を受けにくいことである。 実演的に、自然主義的コーパスデータを通して、生産と理解の両方から依存局所性の文脈において、SRAの収束する証拠を見つけ、予測不可能な非局所依存が局所性効果の減少に結びついている。 しかし,本研究の結果から,SRAが言語固有の句構造とどのように相互作用するかを,ドメイン一般のメモリ効率原理としてより深く検討する必要があることが示唆された。 SRAは、メモリエンコーディングを理解する上で、表現の不確実性の重要な役割を強調している。 また、効率のよいメモリ符号化の観点から、処理難易度に対する仮定とエントロピーの影響を再現する。

関連論文リスト

• Quantifying Memory Utilization with Effective State-Size [73.52115209375343]
  「我々は、テキスト・メモリ利用の尺度を策定する。」 この計量は、textitinput-invariant および textitinput-variant linear operator を持つシステムの基本的なクラスに適合する。
  論文  参考訳（メタデータ） (2025-04-28T08:12:30Z)
• Structured Token Retention and Computational Memory Paths in Large Language Models [0.0]
  本稿では,文脈的重要性に基づいてトークンの永続化を動的に調整する確率的選択フレームワークを提案する。 階層的なメモリ割り当てによって拡張され、トークン埋め込みの構造化された再配置によって保持効率を向上する。 STRとCMPのオープンソースモデルへの統合は、構造化メモリ保持手法の適応性を示している。
  論文  参考訳（メタデータ） (2025-02-05T11:59:22Z)
• Autonomous Structural Memory Manipulation for Large Language Models Using Hierarchical Embedding Augmentation [0.0]
  本研究では,マルチレベルセマンティック構造を通じてトークンの表現を再定義する手段として,階層的な埋め込み拡張を導入する。 その結果、より長い入力シーケンスに対して処理オーバーヘッドが大幅に削減され、計算効率が大幅に向上した。 トークン表現とメモリ構成を動的に調整する能力は、様々な予測不可能な入力条件下でモデルの堅牢性に寄与した。
  論文  参考訳（メタデータ） (2025-01-23T22:20:36Z)
• Architectural Fusion Through Contextual Partitioning in Large Language Models: A Novel Approach to Parameterized Knowledge Integration [0.0]
  本稿では,パラメータの動的セグメンテーションをコンテキスト対応領域に分割することで,大規模計算モデルのアーキテクチャ設計を強化するための革新的なアプローチを提案する。 実験による評価は、様々な言語課題における精度、難易度、文脈的コヒーレンスを大幅に改善したことを示す。 これらの知見は、多様かつ複雑な領域における計算言語アーキテクチャのスケーラビリティと適応性を再定義するコンテキスト分割の可能性を示すものである。
  論文  参考訳（メタデータ） (2025-01-22T14:21:04Z)
• Goal-oriented Communications based on Recursive Early Exit Neural Networks [14.538977446476684]
  計算を動的に分割するイノベーティブ・アーリーエグジット戦略を導入する。 我々は,早期終了点,計算分割,オフロード戦略を共同で決定する強化学習ベースのオンライン最適化フレームワークを開発した。 エッジ推論シナリオにおける数値評価は, 性能, レイテンシ, 資源効率の優れたトレードオフを打破する手法の適応性と有効性を示すものである。
  論文  参考訳（メタデータ） (2024-12-27T11:14:11Z)
• SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
  音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:04:16Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Performance Optimization for Semantic Communications: An Attention-based Reinforcement Learning Approach [187.4094332217186]
  テキストデータ伝送のためのセマンティック通信フレームワークを提案する。 回復したテキストの意味的精度と完全性を共同でキャプチャする意味的類似度尺度(MSS)を提案する。
  論文  参考訳（メタデータ） (2022-08-17T11:39:16Z)
• Representation Learning for Resource-Constrained Keyphrase Generation [78.02577815973764]
  本稿では,言語モデリングの目的を導くために,有能なスパンリカバリと有能なスパン予測を導入する。 提案手法が低リソースおよびゼロショットのキーフレーズ生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-15T17:48:04Z)
• Deep Learning-based Resource Allocation For Device-to-Device Communication [66.74874646973593]
  デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。 任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。 シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
  論文  参考訳（メタデータ） (2020-11-25T14:19:23Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)
• Deep Learning-based Resource Allocation for Infrastructure Resilience [0.5249805590164901]
  意思決定者は、トレーニングされたモデルを使用して、緊急時にリソースをより効率的に割り当てることができます。 本稿では,TNのシェルビー郡における実世界の相互依存インフラによる方法論について紹介する。
  論文  参考訳（メタデータ） (2020-07-12T00:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。