論文の概要: LLMs Learn Constructions That Humans Do Not Know

• arxiv url: http://arxiv.org/abs/2508.16837v1
• Date: Fri, 22 Aug 2025 23:29:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.201245
• Title: LLMs Learn Constructions That Humans Do Not Know
• Title（参考訳）: LLMは人間が知らない構造を学ぶ
• Authors: Jonathan Dunn, Mai Mohamed Eida,
• Abstract要約: 本稿では,LLMが特定の構成として幻覚するが,人間の内観が支持しない文法構造について考察する。 仮説テストは、言語学者がこれらの幻覚構造が存在すると誤った仮説を立てた場合、何が起こったかを決定するためにシミュレーションされる。 このことは、建設調査手法が確証バイアスに悩まされ、これらのモデルが持つ未知の、誤った構文知識の問題を引き起こすことを示唆している。
• 参考スコア（独自算出の注目度）: 1.9193579706947885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates false positive constructions: grammatical structures which an LLM hallucinates as distinct constructions but which human introspection does not support. Both a behavioural probing task using contextual embeddings and a meta-linguistic probing task using prompts are included, allowing us to distinguish between implicit and explicit linguistic knowledge. Both methods reveal that models do indeed hallucinate constructions. We then simulate hypothesis testing to determine what would have happened if a linguist had falsely hypothesized that these hallucinated constructions do exist. The high accuracy obtained shows that such false hypotheses would have been overwhelmingly confirmed. This suggests that construction probing methods suffer from a confirmation bias and raises the issue of what unknown and incorrect syntactic knowledge these models also possess.
• Abstract（参考訳）: 本稿では,LLMが特定の構成として幻覚するが,人間の内観が支持しない文法構造について考察する。 文脈埋め込みを用いた行動探索タスクとプロンプトを用いたメタ言語探索タスクの両方が含まれており、暗黙的および明示的な言語知識を区別することができる。 どちらの方法も、モデルが実際に幻覚的な構成をすることを示している。 すると、私たちは仮説検証をシミュレートし、もし言語学者がこれらの幻覚構造が存在すると誤った仮説を立てたなら、何が起こったかを決定する。 得られた高い精度は、そのような偽の仮説が圧倒的に確認されたことを示している。 このことは、建設調査手法が確証バイアスに悩まされ、これらのモデルが持つ未知の、誤った構文知識の問題を引き起こすことを示唆している。

関連論文リスト

• Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer [51.7407540261676]
  本研究では,モデルが常に正しい解答を行うことのできる幻覚の別のタイプについて検討するが,一見自明な摂動は,高い確実性で幻覚応答を生じさせる。 この現象は特に医学や法学などの高度な領域において、モデルの確実性はしばしば信頼性の代用として使用される。 CHOKEの例は、プロンプト間で一貫性があり、異なるモデルやデータセットで発生し、他の幻覚と根本的に異なることを示す。
  論文  参考訳（メタデータ） (2025-02-18T15:46:31Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models [11.492702369437785]
  幻覚は、ソースの発声とは意味的に無関係であるが、それでも流動的でコヒーレントである。 単語誤り率などの一般的なメトリクスは、幻覚モデルと非幻覚モデルとを区別できないことを示す。 本研究は,幻覚を識別する枠組みを考案し,その意味的関係と基礎的真理と流布との関係を解析する。
  論文  参考訳（メタデータ） (2024-01-03T06:56:56Z)
• Large Language Models Are Partially Primed in Pronoun Interpretation [6.024776891570197]
  大規模言語モデル (LLM) は, 刺激や実際の心理言語実験の手順を用いて, 人間のような参照バイアスを呈するかどうかを検討する。 最近の精神言語学的研究は、人間が参照パターンに最近露出することで参照バイアスに適応することを示唆している。 InstructGPTは,局所談話における参照パターンの頻度に応じて,その韻律的解釈に適応することがわかった。
  論文  参考訳（メタデータ） (2023-05-26T13:30:48Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models [91.3755431537592]
  構成的・非構成的句を表現することは言語理解にとって重要である。 まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。 意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
  論文  参考訳（メタデータ） (2022-10-07T14:21:30Z)
• Neural reality of argument structure constructions [19.325001405556648]
  語彙論的言語理論では、議論構造は動詞の意味から予測可能であると仮定される。 対照的に、構成文法学者は、議論構造は動詞とは異なる構成で符号化されていることを提唱している。 ここでは、トランスフォーマーに基づく言語モデルにおける引数構造構造の存在を探索するために、いくつかの心理言語学的研究を適用する。
  論文  参考訳（メタデータ） (2022-02-24T18:02:50Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。