論文の概要: A Circuit for Plural Reference: How LLMs Represent and Retrieve Singular and Plural Entities
- arxiv url: http://arxiv.org/abs/2609.03687v1
- Date: Thu, 03 Sep 2026 11:23:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.038271
- Title: A Circuit for Plural Reference: How LLMs Represent and Retrieve Singular and Plural Entities
- Title（参考訳）: 複数参照回路:LLMが特異および複数エンティティをどのように表現し、検索するか
- Abstract要約: 本稿では,複数の参照に対して,単一のエンティティと複数のエンティティを表現および検索するメカニズムについて検討する。
入力中のコア参照情報を表現する責任を負うアテンションヘッドのセットを見つける。
また,LLMは複数代名詞を好んで人間と一致していることがわかった。
- 参考スコア（独自算出の注目度）: 3.409902233585822
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coreference resolution is an important task in contextual reasoning. In this paper, we investigate the mechanism for representing and retrieving singular and plural entities for plural reference. We use a combination of mechanistic interpretability and attention pattern analysis to study the process in which LLMs predict a pronoun to refer back to previously mentioned entities. Using a range of causal intervention techniques, we find a set of attention heads that are responsible for (1) representing coreference information in the input, (2) identifying entities that form a plural reference, (3) transferring the information to the component that is responsible for selecting the antecedents and predicting the pronoun. We also find that LLMs align with humans in preference for plural pronoun. Specifically, entities in a plural construction are more likely to be referred to as a plural entity if they are ontologically similar and are linked by the conjunction "and".
- Abstract（参考訳）: 参照解決は文脈推論において重要なタスクである。
本稿では,複数の参照に対して単一のエンティティと複数のエンティティを表現・検索する機構について検討する。
我々は,機械的解釈可能性と注意パターン解析の組み合わせを用いて,LLMが代名詞を予測して先述のエンティティを参照する過程を研究する。
様々な因果介入手法を用いて,(1)入力中のコア参照情報を表すこと,(2)複数の参照を形成するエンティティを識別すること,(3)先行詞の選択や代名詞の予測を行うコンポーネントに情報を転送すること,といった一連の注意ヘッドを見つける。
また,LLMは複数代名詞を好んで人間と一致していることがわかった。
具体的には、複数の構成の実体は、それらが存在論的に類似しており、結合された「and」によってリンクされている場合、複数の実体として言及される可能性が高い。
関連論文リスト
- Can LLMs Detect Ambiguous Plural Reference? An Analysis of Split-Antecedent and Mereological Reference [3.409902233585822]
LLMは時として曖昧な代名詞の参照を意識している。
解釈の選択において、必ずしも人間の参照に従うとは限らない。
彼らは直接の指示なしに曖昧さを特定するのに苦労している。
論文 参考訳（メタデータ） (2025-10-06T08:32:59Z) - Evaluating Large Language Models as Expert Annotators [17.06186816803593]
本稿では,トップパフォーマンス言語モデルが,人間の専門家アノテータの直接的な代替として機能するかどうかを考察する。
我々は、金融、バイオメディシン、法という3つの専門分野にまたがる個別のLCMとマルチエージェントのアプローチを評価した。
実験結果から,推定時間的手法を具備した個々のLSMは,限界あるいは負の利得しか示さないことが明らかとなった。
論文 参考訳（メタデータ） (2025-08-11T10:19:10Z) - Language Models use Lookbacks to Track Beliefs [53.8367373163602]
我々は、因果媒介と抽象化を用いて、キャラクターの信念を推論するLMの能力を分析する。
我々の研究は信念追跡機構の洞察を提供し、LMにおけるToM推論のリバースエンジニアリングに向けた一歩を踏み出した。
論文 参考訳（メタデータ） (2025-05-20T17:59:45Z) - A Cooperative Multi-Agent Framework for Zero-Shot Named Entity Recognition [71.61103962200666]
ゼロショット名付きエンティティ認識(NER)は、注釈のないテキストコーパスからエンティティ認識システムを開発することを目的としている。
最近の研究は、特別なプロンプトテンプレートを作成することで、ゼロショットNERに大規模な言語モデル(LLM)を適用している。
ゼロショットNERのための新しいフレームワークである協調型マルチエージェントシステム(CMAS)を紹介する。
論文 参考訳（メタデータ） (2025-02-25T23:30:43Z) - How Do Multilingual Language Models Remember Facts? [50.13632788453612]
これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。
我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。
デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
論文 参考訳（メタデータ） (2024-10-18T11:39:34Z) - Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
大規模言語モデル(LLM)の時代における意味表現の役割について検討する。
本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。
AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
論文 参考訳（メタデータ） (2024-05-02T17:32:59Z) - A Roadmap to Pluralistic Alignment [49.29107308098236]
本稿では,言語モデルをテストベッドとして用いた多元的アライメントのロードマップを提案する。
我々は,AIシステムにおける多元性を定義・運用する3つの可能な方法を特定し,定式化する。
我々は、現在のアライメント技術は、基本的に多元的AIに限られていると論じる。
論文 参考訳（メタデータ） (2024-02-07T18:21:17Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳（メタデータ） (2022-10-07T14:21:30Z) - Making sense of spoken plurals [1.80476943513092]
本研究は、英語における名詞特異点とその複数変種の意味論に焦点をあてる。
1つのモデル(FRACSS)は、特異な意味論から複数の意味論を予測する際に、すべての特異な複数対を考慮に入れるべきである。
他のモデル(CCA)は、複数の概念化は、主に基本語のセマンティッククラスに依存すると主張している。
論文 参考訳（メタデータ） (2022-07-05T10:44:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。