論文の概要: The Min-Max theory of language behavior
- arxiv url: http://arxiv.org/abs/2611.04406v1
- Date: Tue, 03 Nov 2026 06:44:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-10 00:07:26.337244
- Title: The Min-Max theory of language behavior
- Title(参考訳): 言語行動のMin-Max理論
- Abstract要約: 「マックス」理論は、人間が同時に情報内容の処理と最小化に従事していることを示唆している。
この主張は言語処理から観察を統一しようとするものである。
実験の結果,表層ラザモデルにおけるトークン長の変数と情報量の重み付けは,単語の順序変化をもたらすことがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The "Min-Max" theory of language behavior proposes that humans engage simultaneously in minimization of processing effort and maximization of information content, and that this is a primary driver in language evolution (Ring, 2025). This claim seeks to unify observations from language processing (Mahowald et al., 2013; Futrell et al., 2015; Yadav et al., 2020; Hawkins, 2014), interaction (Hörberg and Sjons, 2023; Tucker et al., 2025; Jaeger and Tily, 2011; Smith and Culbertson, 2025), and corpora (Levshina and Moran, 2021; Levshina, 2023; Newmeyer, 2017), which suggest that considerations of processing efficiency and information content are both implicated in human communication. The interaction between these two processes provides an explanation for human linguistic behavior at various levels (Linders and Louwerse, 2023) and predicts historical developments in language, i.e. related to word order (Ring, 2025). Given that the original formulation of the Min-Max theory is based on observational data, the current paper seeks to validate the theory mathematically. Through a series of experiments that use computational models to investigate the theory's predictions, pretrained and iterated learning models are queried with synthetic data. The experiments show that manipulating the variables of token length and the weight of information content in a tabula rasa model results in word order change, as predicted by the theory. The experiments also identify important differences between computational models and observations of human language data, suggesting that current transformer-based language models may not accurately represent psycholinguistic processes. The overall findings indicate that evolutionary trajectories in language are highly susceptible to minimization of processing and maximization of information content.
- Abstract(参考訳): 言語行動の「Min-Max」理論は、人間が同時に処理作業の最小化と情報内容の最大化に従事し、これが言語進化の第一の要因であることを示唆している(Ring, 2025)。
この主張は、言語処理(Mahowald et al , 2013; Futrell et al , 2015; Yadav et al , 2020; Hawkins, 2014)、インタラクション(Hörberg and Sjons, 2023; Tucker et al , 2025; Jaeger and Tily, 2011; Smith and Culbertson, 2025)、コーポラ(Levshina and Moran, 2021; Levshina, 2023; Newmeyer, 2017)から、処理効率と情報内容の考慮は、どちらも人間のコミュニケーションに関係していることを示唆している。
これら2つのプロセス間の相互作用は、様々なレベルでの人間の言語行動の説明(Linders and Louwerse, 2023)を提供し、言語における歴史的発展、すなわち語順に関する予測(Ring, 2025)を提供する。
Min-Max理論の元々の定式化は観測データに基づいており、本論文では理論を数学的に検証する。
計算モデルを用いて理論の予測を調査する一連の実験を通じて、事前学習および反復学習モデルは合成データでクエリされる。
実験の結果,表層ラザモデルにおけるトークン長の変数と情報量の重み付けは,その理論によって予測される単語順変化をもたらすことがわかった。
実験はまた、計算モデルと人間の言語データの観察の間に重要な違いを識別し、現在のトランスフォーマーベースの言語モデルが精神言語学の過程を正確に表現していないことを示唆している。
以上の結果から,言語における進化的軌跡は,処理の最小化と情報内容の最大化に極めて敏感であることが示唆された。
関連論文リスト
- Surprisal Theory is Tautological (without Rational Grounding) [60.917028769172795]
予備理論は、文脈における言語単位の人間の処理困難は、ある言語モデルの下でのそのサブプライムのアフィン関数であると主張している。
この主張は、これ以上の制約を伴わないタウトロジーであると私は主張する。
私は、タウトロジーを破るには合理主義的な介入が必要だと結論付けます。
論文 参考訳(メタデータ) (2026-07-23T17:54:37Z) - Counterfactual reasoning: an analysis of in-context emergence [57.118735341305786]
我々は、言語モデルが反実的推論が可能なことを示す。
自己注意、モデル深度、トレーニング済みデータの多様性によってパフォーマンスが向上することがわかった。
以上の結果から, SDE 動態下での反実的推論が可能となった。
論文 参考訳(メタデータ) (2025-06-05T16:02:07Z) - Word length predicts word order: "Min-max"-ing drives language evolution [0.0]
本稿では,1500以上の言語からなる大規模タグ付き並列データセットに基づいて,単語順変化の普遍的メカニズムを提案する。
発見は、処理と情報構造が競合する圧力によって駆動される言語進化の「ミニマックス」理論が統合されていることを示唆している。
論文 参考訳(メタデータ) (2025-05-20T04:25:55Z) - Reverse-Engineering the Reader [43.26660964074272]
本稿では,線形回帰器のパラメータを暗黙的に最適化するために,言語モデルを微調整する新しいアライメント手法を提案する。
単語をテストケースとして使用し、複数のモデルサイズとデータセットにわたる手法を評価する。
ダウンストリームNLPタスクにおける心理測定パワーとモデルの性能の逆関係と、ホールドアウトテストデータにおけるその難易度を見出した。
論文 参考訳(メタデータ) (2024-10-16T23:05:01Z) - Humans and language models diverge when predicting repeating text [52.03471802608112]
我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。
人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。
このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
論文 参考訳(メタデータ) (2023-10-10T08:24:28Z) - Meta predictive learning model of languages in neural circuits [2.5690340428649328]
本稿では,予測符号化フレームワークにおける平均場学習モデルを提案する。
我々のモデルでは、ほとんどの接続は学習後に決定論的になる。
本モデルは,脳計算,次点予測,一般知能の関連性を調べるための出発点となる。
論文 参考訳(メタデータ) (2023-09-08T03:58:05Z) - State space models can express n-gram languages [51.823427608117626]
我々は、n-gramルールから生成された言語に対して、次の単語予測タスクを解くことのできる状態空間言語モデルを構築している。
我々の証明は、SSMがn-gramルールをその能力に関する新たな理論的結果を用いてエンコードする方法を示している。
n-gramルールから生成された小さなデータセットを用いて実験を行い、勾配に基づく最適化によって得られたSSMやRNNにフレームワークをどのように適用できるかを示す。
論文 参考訳(メタデータ) (2023-06-20T10:41:23Z) - Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。
我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。
実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
論文 参考訳(メタデータ) (2020-09-27T02:13:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。