論文の概要: Rethinking Evaluation for Principled Generalization Using a Kripkean Challenge to Meaning as Use

• arxiv url: http://arxiv.org/abs/2610.35111v1
• Date: Mon, 26 Oct 2026 09:52:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.817807
• Title: Rethinking Evaluation for Principled Generalization Using a Kripkean Challenge to Meaning as Use
• Title（参考訳）: Kripkean Challenge を用いた原則一般化のための再考
• Abstract要約: 我々は、大きな言語モデルが意味を直感的に利用するためのビューを運用していると論じる。 モデルが原則付きドメイン拡張の下で規則や概念を保存するかどうかを評価する。
• 参考スコア（独自算出の注目度）: 4.219538496662492
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models operationalize an intuitive, view of meaning as use. We argue that it faces a rule-following challenge. Using Kripke's interpretation of Wittgenstein, we argue that finite histories of use do not determine a unique rule for future extension. This reframes the debate about OOD generalization but also about NLP evaluation; benchmarks that measure performance on fixed use cases or local robustness, we argue, do not by themselves establish semantic competence. To evaluate whether models preserve rules and concepts under principled domain extension, we propose to evaluate two capacities, central to this ability: abstraction and recursion; and we offer an experimental paradigm for testing both.
• Abstract（参考訳）: 大規模な言語モデルは、直感的で意味のビューを使用として運用する。 ルールに従うような課題に直面している、と私たちは主張する。 クリプキのウィトゲンシュタインの解釈を用いて、使用の有限履歴は将来の拡張に対する一意的な規則を決定するものではないと論じる。 このことは、OODの一般化に関する議論を再考するだけでなく、NLP評価についても論じる; 固定されたユースケースにおけるパフォーマンスや局所的な堅牢性を測定するベンチマークは、それ自体が意味的な能力を確立するものではない、と我々は論じている。 モデルが原則的ドメイン拡張の下で規則や概念を保存するかどうかを評価するために,この能力の中心となる2つの能力,すなわち抽象化と再帰を評価することを提案する。

関連論文リスト

• ReDiPPO: Reference-Guided Value Calibration and Discrepancy-Aware Token Reweighting for Mathematical Reasoning [25.155324087465885]
  ReDiPPOは、数学的推論のための参照誘導および離散化対応PPOフレームワークである。 ReDiPPOは価値推定精度を向上し、強力なポリシー最適化ベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-07-30T03:42:52Z)
• The Evaluation Trap: Benchmark Design as Theoretical Commitment [0.0]
  本稿では,技術能力主張から直接評価基準を導出する手法であるエピステマティクスを紹介する。 我々は,建築レベルでの支配的パラダイムの理論的仮定を改訂する提案であるDupoux et al. (2026)の実施監査を通じて,この手順を実証する。
  論文  参考訳（メタデータ） (2026-05-13T22:41:29Z)
• The Validity of Coreference-based Evaluations of Natural Language Understanding [3.505146496638911]
  標準のコア参照評価を分析し、それらの設計がしばしば一般化不可能な結論につながることを示す。 イベントの相対的妥当性を推測するテストシステムの能力に着目した,新たな評価手法を提案し,実装する。
  論文  参考訳（メタデータ） (2026-02-18T05:49:28Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• SocREval: Large Language Models with the Socratic Method for Reference-Free Reasoning Evaluation [78.23119125463964]
  我々は,参照フリー推論評価における新規な設計手法であるSocREvalを開発した。 SocREvalはGPT-4の性能を大幅に改善し、既存の参照フリーおよび参照ベース推論評価指標を上回っている。
  論文  参考訳（メタデータ） (2023-09-29T18:25:46Z)
• Evaluate Confidence Instead of Perplexity for Zero-shot Commonsense Reasoning [85.1541170468617]
  本稿では,コモンセンス推論の性質を再考し,新しいコモンセンス推論尺度であるNon-Replacement Confidence(NRC)を提案する。 提案手法は,2つのコモンセンス推論ベンチマークデータセットと,さらに7つのコモンセンス質問応答データセットに対してゼロショット性能を向上する。
  論文  参考訳（メタデータ） (2022-08-23T14:42:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。