論文の概要: Where's the Indirect Evidence? Investigating Grammatical Generalization with Influence Functions

• arxiv url: http://arxiv.org/abs/2610.22919v1
• Date: Fri, 16 Oct 2026 04:32:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.764086
• Title: Where's the Indirect Evidence? Investigating Grammatical Generalization with Influence Functions
• Title（参考訳）: 間接的エビデンスはどこにあるのか? 影響関数を用いた文法的一般化の検討
• Abstract要約: 我々は,BLiMPから得られる15の文法現象において,個々の訓練文がモデル予測にどのように影響するかを測定するために,影響関数を用いる。 我々は、手作りの規則を用いて現象の直接的証拠をフィルタリングし、最も影響力のある6万の文を間接的証拠とみなす。
• 参考スコア（独自算出の注目度）: 2.431175175980664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models generalize beyond their training corpus to learn linguistic phenomena (Patil et al., 2024; Misra and Mahowald, 2024), showing that there exists indirect evidence driving learning. Prior work has inferred that indirect evidence exists without identifying its character or considered specific hypotheses about what it might be. We explore an alternative bottom-up method for identifying indirect evidence. We use influence functions (Koh and Liang, 2017) to measure how individual training sentences affect model predictions in 15 grammatical phenomena from BLiMP (Warstadt et al., 2020). We filter out a phenomenon's direct evidence using hand-constructed rules and take the 60,000 most influential remaining sentences as indirect evidence. This indirect evidence substantially affects learning: retraining without it lowers held-out accuracy more than removing a matched random group for every phenomenon across five models (by a median of 12 points). We characterize the indirect evidence by its similarity to our direct evidence filters: it (partially) meets the filters' structural conditions at a median of 4.7 times the rate of a matched random group. Finally, clustering phenomena by indirect-evidence overlap recovers three of the five BLiMP categories that include multiple phenomena, suggesting that this method can reveal linguistic relationships.
• Abstract（参考訳）: 言語モデルは訓練コーパスを超えて一般化され、言語現象を学ぶ(Patil et al , 2024; Misra and Mahowald, 2024)。 以前の研究は、間接的な証拠は、その性格を特定したり、それが何であるかについての特定の仮説を考慮せずに存在すると推測していた。 間接的証拠を識別するための別のボトムアップ手法について検討する。 我々は、BLiMP(Warstadt et al , 2020)の15の文法現象において、個々の訓練文がモデル予測にどのように影響するかを測定するために、影響関数(Koh and Liang, 2017)を用いる。 我々は、手作りの規則を用いて現象の直接的証拠をフィルタリングし、最も影響力のある6万の文を間接的証拠とみなす。 この間接的な証拠は学習に大きく影響する: 5つのモデル(中央値12点)の全ての現象に対して一致したランダムなグループを取り除くよりも、保持される精度を低下させる。 直接的エビデンスフィルタと類似性により間接的エビデンスを特徴付け、(部分的には)一致したランダム群の4.7倍の速度でフィルタの構造条件を満たす。 最後に、間接的エビデンスオーバーラップによるクラスタリング現象は、複数の現象を含む5つのBLiMPカテゴリのうち3つを回復させ、この手法が言語的関係を明らかにすることを示唆している。

関連論文リスト

• What Counts as Evidence? Epistemic Cue Utilization in Large Language Models [25.305603518318993]
  情報源が一致しない場合には,どの情報が言語モデルの判断を形作るかを検討する。 500のシナリオと5つの補完的なトラックのベンチマークを使用して、キューの識別、キューの影響、競合を分離します。 我々は,一致したシャム素材,事実回復,構造化された証拠記録,付加的な重み付け原理を用いた3つのQwenチェックポイントに介入した。
  論文  参考訳（メタデータ） (2026-10-08T22:45:26Z)
• Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs [13.891522069967507]
  建設文法は統計的プリエンプション(英語版)を提案している: 従来の形式への露出は構造的に可能であるが、証明されていない代替手段を前提としている。 本稿では,大規模言語モデルにおいて,競合するエンレンチメント仮説から統計的プリエンプションを解離する計算手法を提案する。
  論文  参考訳（メタデータ） (2026-05-21T21:06:43Z)
• The Nonverbal Syntax Framework: An Evidence-Based Tiered System for Inferring Learner States from Observable Behavioral Cues [1.8733436441111364]
  我々は,908研究と17,043キューステートマッピングの体系的レビューから,非言語構文フレームワークを提示する。 この枠組みは、用語的断片化、証拠の不均一性、および状態の曖昧さの3つの課題に対処する。 研究者たちには、ギャップを識別するための実証的な基盤、状態推論のためのエビデンスベースのツール、マルチモーダル検出のための検証済みの機能を与える。
  論文  参考訳（メタデータ） (2026-04-28T13:20:44Z)
• Retrieving Versus Understanding Extractive Evidence in Few-Shot Learning [4.230202411425062]
  大規模言語モデルにおける文書内証拠の検索と解釈の関係を解析する。 ラベル予測とエビデンス検索の誤りが関連する証拠の質に起因するかどうかを2つのアブレーション研究により調査する。
  論文  参考訳（メタデータ） (2025-02-19T20:48:09Z)
• Causal Micro-Narratives [62.47217054314046]
  テキストから因果マイクロナラティブを分類する新しい手法を提案する。 これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
  論文  参考訳（メタデータ） (2024-10-07T17:55:10Z)
• Heterogeneous Graph Reasoning for Fact Checking over Texts and Tables [22.18384189336634]
  HeterFCは、非構造化情報および構造化情報に対するFact Checkingのための単語レベルの不均一グラフベースのモデルである。 我々は,レーショナルグラフニューラルネットワークによる情報伝達,クレームとエビデンス間の相互作用を行う。 本稿では,エビデンス検索における潜在的な不正確性を考慮したマルチタスク損失関数を提案する。
  論文  参考訳（メタデータ） (2024-02-20T14:10:40Z)
• Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment Analysis [56.84237932819403]
  本稿では,OODの高次一般化に対するテキストモダリティの悪影響を推定・緩和することを目的とする。 そこで本研究では,マルチモーダル感情分析のためのモデルに依存しない反現実的フレームワークを考案した。
  論文  参考訳（メタデータ） (2022-07-24T03:57:40Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。