Fugu-MT 論文翻訳(概要): Implicit In-Context Learning: Evidence from Artificial Language Experiments

論文の概要: Implicit In-Context Learning: Evidence from Artificial Language Experiments

arxiv url: http://arxiv.org/abs/2503.24190v1
Date: Mon, 31 Mar 2025 15:07:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-01 14:36:35.460164
Title: Implicit In-Context Learning: Evidence from Artificial Language Experiments
Title（参考訳）: Inlicit In-Context Learning:人工言語実験からのエビデンス
Authors: Xiaomeng Ma, Qihui Xu,
Abstract要約: 人間は暗黙の学習を通じて言語を取得し、明白な認識なしに複雑なパターンを吸収する。我々は3つの古典的人工言語学習実験を、形態学、形態素構文学、構文学に応用し、推論レベルで暗黙的な学習を評価する。この結果から,モデルと人間の行動の言語的領域特異的なアライメントが明らかとなった。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Humans acquire language through implicit learning, absorbing complex patterns without explicit awareness. While LLMs demonstrate impressive linguistic capabilities, it remains unclear whether they exhibit human-like pattern recognition during in-context learning at inferencing level. We adapted three classic artificial language learning experiments spanning morphology, morphosyntax, and syntax to systematically evaluate implicit learning at inferencing level in two state-of-the-art OpenAI models: gpt-4o and o3-mini. Our results reveal linguistic domain-specific alignment between models and human behaviors, o3-mini aligns better in morphology while both models align in syntax.
Abstract（参考訳）: 人間は暗黙の学習を通じて言語を取得し、明白な認識なしに複雑なパターンを吸収する。 LLMは印象的な言語機能を示すが、推論レベルでの文脈内学習中に人間のようなパターン認識を示すかどうかは不明である。我々は3つの古典的人工言語学習実験を、形態学、形態素構文、構文に応用し、2つの最先端OpenAIモデル(gpt-4oとo3-mini)の推論レベルで暗黙的な学習を体系的に評価した。以上の結果から,モデルと人間の行動の言語的ドメイン固有のアライメント,o3-miniは形態的アライメントに優れ,両者は構文的アライメントに優れていた。

関連論文リスト

Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
論文参考訳（メタデータ） (2024-12-23T10:23:47Z)
Large Language Models as Neurolinguistic Subjects: Discrepancy in Performance and Competence for Form and Meaning [49.60849499134362]
本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。その結果,(1)心理言語学的・神経言語学的手法では,言語能力と能力が異なっていること,(2)直接確率測定では言語能力が正確に評価されないこと,(3)指導のチューニングでは能力が大きく変化しないが,性能は向上しないことがわかった。
論文参考訳（メタデータ） (2024-11-12T04:16:44Z)
Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models [31.006803764376475]
意味的・統語的ブートストラッピング・ポジトリ(Semantic and Syntactic bootstrapping posit)とは、子供が特定の言語領域についての事前の知識、例えば構文的関係(syntactic relations)を使い、後に新しい単語の意味などの他の知識を取得する手助けをするものである。ここでは、両者が、言語習得のためのより一般的な学習戦略である共同学習に固執していると論じる。一連の視覚的文法帰納モデルを用いて,構文と意味が同時に学習された場合に,構文的および意味的ブートストラップ効果が最強であることが実証された。
論文参考訳（メタデータ） (2024-06-17T18:01:06Z)
Decoding Probing: Revealing Internal Linguistic Structures in Neural Language Models using Minimal Pairs [0.873811641236639]
本稿では,ニューラルネットワークモデル層の内部言語特性を層単位で探索する新しい復号探索手法を提案する。言語モデルを脳として扱い、その表現をニューラルアクティベーションとして扱うことにより、中間層の表現から最小対の文法ラベルをデコードする。
論文参考訳（メタデータ） (2024-03-26T00:56:06Z)
Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文参考訳（メタデータ） (2024-02-13T02:46:45Z)
Exploring Spatial Schema Intuitions in Large Language and Vision Models [8.944921398608063]
大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
論文参考訳（メタデータ） (2024-02-01T19:25:50Z)
Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
論文参考訳（メタデータ） (2023-07-06T10:52:22Z)
Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文参考訳（メタデータ） (2022-10-14T02:35:19Z)
What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
論文参考訳（メタデータ） (2022-08-17T00:12:37Z)
Do Neural Language Models Show Preferences for Syntactic Formalisms? [14.388237635684737]
本研究では,言語モデルが捉えた構文構造のセマンランスが,表面シンタクティックあるいは深層構文解析の様式にどの程度依存しているかについて検討する。 13の異なる言語で訓練されたBERTおよびELMoモデルに対して,有向依存木抽出のためのプローブを適用した。どちらのモデルも、SUDよりもUDを好むことが分かりました。
論文参考訳（メタデータ） (2020-04-29T11:37:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。