論文の概要: Factors Influencing the Emergence of Dependency Length Minimization in Neural Agent Simulations
- arxiv url: http://arxiv.org/abs/2609.06025v1
- Date: Sat, 05 Sep 2026 11:03:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 11:55:58.299043
- Title: Factors Influencing the Emergence of Dependency Length Minimization in Neural Agent Simulations
- Title（参考訳）: ニューラルネットワークシミュレーションにおける依存長最小化の発生要因
- Abstract要約: リカレントニューラルネットワーク(RNN)に基づく言語学習・通信フレームワークを用いた人工言語におけるDLMの出現について検討する。
以上の結果から,ニューラルエージェントの語順選好形成において,これらの要因間の複雑な相互作用が明らかとなった。
これらの結果は,人間の認知処理の限界がDLMの形成に果たす役割を示唆している。
- 参考スコア（独自算出の注目度）: 9.253309436742928
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given various grammatical options, language users prefer the word order choice that reduces the overall length of syntactic dependencies, a principle known as dependency length minimization (DLM). The origins of this preference remain an open question, particularly whether it originates from constraints on efficient information processing. Computational simulations provide a powerful approach to identifying the factors influencing the emergence of linguistic phenomena. However, previous simulations of DLM have not examined realistic interaction contexts and have produced mixed results. The present study investigates the emergence of DLM in artificial languages using a recently proposed language learning and communication framework based on recurrent neural networks (RNNs). In this framework, agents are trained to speak and interpret artificial languages and then use these languages to communicate. Using this framework, we study the impact of several factors related to processing limitations in a communicative setting, such as noise during listening, limited speaker capacity, and incremental sentence processing. Our results reveal a complex interplay among these factors in shaping word order preferences in neural agents. Specifically, in the full meaning space, agents regularize toward a single dominant word order, while in the half meaning space they show a short-before-long preference that only aligns with DLM in verb-initial languages. A consistent DLM preference emerges only when agents are subject to incremental processing pressure. These findings suggest that limitations in human cognitive processing may indeed play a role in shaping DLM. Our findings provide insights into the conditions under which neural models replicate human-like preferences and highlight the challenges of designing emergent communication models that capture human cognitive biases in language processing.
- Abstract（参考訳）: 様々な文法的選択肢が与えられた場合、言語利用者は、依存長最小化(DLM:Dependency length minimization)として知られる、構文的依存関係の全体的な長さを削減する単語順選択を好む。
この選好の起源は、特に効率的な情報処理の制約に由来するかどうかという未解決の問題のままである。
計算シミュレーションは、言語現象の出現に影響を与える要因を特定するための強力なアプローチを提供する。
しかし,従来のDLMシミュレーションでは現実的な相互作用の文脈は検討されておらず,複合的な結果が得られた。
本研究では,最近提案された言語学習・通信フレームワークを用いて,RNNを用いた人工言語におけるDLMの出現について検討した。
このフレームワークでは、エージェントは人工言語を話し、解釈し、これらの言語を使ってコミュニケーションするように訓練される。
この枠組みを用いて,聴取時の雑音,話者容量の制限,漸進的な文処理など,コミュニケーション環境における処理制限に関連する要因について検討した。
以上の結果から,ニューラルエージェントの語順選好形成において,これらの要因間の複雑な相互作用が明らかとなった。
具体的には、完全な意味空間において、エージェントは1つの支配的な単語順序に向かって規則化し、一方ハーフ意味空間では、動詞-初期言語においてDLMと整合する短期的な嗜好を示す。
一貫したDLM選好は、エージェントがインクリメンタルな処理圧力を受ける場合にのみ現れる。
これらの結果は,人間の認知処理の限界がDLMの形成に果たす役割を示唆している。
我々の研究は、ニューラルモデルが人間の嗜好を再現する条件に関する洞察を与え、言語処理における人間の認知バイアスを捉えた創発的なコミュニケーションモデルを設計する際の課題を強調した。
関連論文リスト
- Interpreting Brain Responses to Language with Sparse Features from Language Models [5.261667457257713]
我々は,高密度なLM隠蔽状態を階層的に構成したオートエンコーダ機能に置き換える符号化フレームワークを開発した。
言語処理中の脳の反応は、任意のLM特徴セットからのみ予測可能であることを示す。
論文 参考訳（メタデータ） (2026-06-05T03:01:28Z) - Unveiling the Influence of Amplifying Language-Specific Neurons [11.19692440351977]
個々の言語と強く相関する言語特異的ニューロンは、それらの不活性化によってモデル行動に影響を与えることが示されている。
本研究は18言語にわたる介入による言語特異的ニューロンの増幅効果について検討する。
論文 参考訳（メタデータ） (2025-07-30T11:23:30Z) - The Emergence of Abstract Thought in Large Language Models Beyond Any Language [95.50197866832772]
大規模言語モデル(LLM)は様々な言語で効果的に機能する。
予備的研究では、LLMの隠れた活性化は、英語以外のプロンプトに反応してもしばしば英語に類似している。
近年の結果は多言語のパフォーマンスが強く、他の言語での特定のタスクにおける英語のパフォーマンスを超えている。
論文 参考訳（メタデータ） (2025-06-11T16:00:54Z) - Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
言語混乱に関する最初の機械論的解釈可能性研究について述べる。
混乱点(CP)がこの現象の中心であることを示す。
比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
論文 参考訳（メタデータ） (2025-05-22T11:29:17Z) - When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。
トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
論文 参考訳（メタデータ） (2025-05-21T08:35:05Z) - Simulating the Emergence of Differential Case Marking with Communicating Neural-Network Agents [2.184775414778289]
ディファレンシャル・ケースマーキング(英: Differential Case Marking、DCM)は、文法的ケースマーキングが意味、実用的、その他の要因に基づいて選択的に適用される現象である。
本研究では, エージェントがまず人工言語を習得し, コミュニケーションを行うための枠組みを提案する。
言語やセマンティックな嗜好を事前に経験していない,非常に汎用的なコミュニケーション最適化アルゴリズムとニューラルネットワーク学習者を用いて,学習だけではDCMに結びつかないことを示す。
論文 参考訳（メタデータ） (2025-02-06T13:00:53Z) - Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。
我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
論文 参考訳（メタデータ） (2024-12-23T10:23:47Z) - How do Large Language Models Handle Multilingualism? [81.15060972112563]
本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。
LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。
中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
論文 参考訳（メタデータ） (2024-02-29T02:55:26Z) - Explaining Interactions Between Text Spans [50.70253702800355]
入力の異なる部分からのトークンのスパンに対する推論は、自然言語理解に不可欠である。
NLUタスク2つのタスク(NLIとFC)に対する人間間相互作用の説明データセットであるSpanExを紹介する。
次に,複数の微調整された大言語モデルの決定過程を,スパン間の相互接続の観点から検討する。
論文 参考訳（メタデータ） (2023-10-20T13:52:37Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳（メタデータ） (2023-10-10T03:06:38Z) - Demystifying Neural Language Models' Insensitivity to Word-Order [7.72780997900827]
摂動の定量化により,自然言語モデルの単語順に対する不感度について検討する。
ニューラルネットワークモデルは、トークンのグローバルな順序付けよりも、局所的な順序付けを必要とする。
論文 参考訳（メタデータ） (2021-07-29T13:34:20Z) - Influence Paths for Characterizing Subject-Verb Number Agreement in LSTM
Language Models [22.826154706036995]
LSTMベースのリカレントニューラルネットワークは、多くの自然言語処理(NLP)タスクの最先端技術である。
この理解の欠如として、このタスクにおけるLSTM性能の一般性と、関連するタスクに対するそれらの適合性は不確かである。
本稿では, 繰り返し神経回路のゲートとニューロンを横断する経路として, 構造特性の因果的説明である*影響経路*を紹介する。
論文 参考訳（メタデータ） (2020-05-03T21:10:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。