論文の概要: Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model

• arxiv url: http://arxiv.org/abs/2604.14180v1
• Date: Tue, 31 Mar 2026 07:37:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.704874
• Title: Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model
• Title（参考訳）: 外部表現のない内部知識:古典中国語モデルの一般化境界の提案
• Authors: Jiuting Chen, Yuan Lian, Hao Wu, Tianqi Huang, Hiroshi Sasaki, Makoto Kouno, Jongil Choi,
• Abstract要約: 我々は、純粋に古典中国語の56億のトークンをキュレートしたコーパスで、ゼロから言語モデルを訓練する。 モデルが未知の入力と区別できるかどうかを検討する。 内的不確実性と外的不確実性の間に明らかな解離が生じる。
• 参考スコア（独自算出の注目度）: 2.096023520617773
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We train a 318M-parameter Transformer language model from scratch on a curated corpus of 1.56 billion tokens of pure Classical Chinese, with zero English characters or Arabic numerals. Through systematic out-of-distribution (OOD) testing, we investigate whether the model can distinguish known from unknown inputs, and crucially, whether it can express this distinction in its generated text. We find a clear dissociation between internal and external uncertainty. Internally, the model exhibits a perplexity jump ratio of 2.39x between real and fabricated historical events (p = 8.9e-11, n = 92 per group), with semi-fabricated events (real figures + fictional events) showing the highest perplexity (4.24x, p = 1.1e-16), demonstrating genuine factual encoding beyond syntactic pattern matching. Externally, however, the model never learns to express uncertainty: classical Chinese epistemic markers appear at lower rates for OOD questions (3.5%) than for in-distribution questions (8.3%, p = 0.023), reflecting rhetorical conventions rather than genuine metacognition. We replicate both findings across three languages (Classical Chinese, English, Japanese), three writing systems, and eight models from 110M to 1.56B parameters. We further show that uncertainty expression frequency is determined entirely by training data conventions, with Classical Chinese models showing a "humility paradox" (more hedging for known topics), while Japanese models almost never hedge. We argue that metacognitive expression -- the ability to say "I don't know" -- does not emerge from language modeling alone and requires explicit training signals such as RLHF.
• Abstract（参考訳）: 我々は、英語の文字がゼロまたはアラビア数字で、純古典中国語の16億のトークンをキュレートしたコーパスで、スクラッチから318Mパラメタトランスフォーマー言語モデルを訓練する。 系統的なアウト・オブ・ディストリビューション(OOD)テストを通じて、モデルが未知の入力と区別できるかどうかを検証し、この区別を生成されたテキストで表現できるかどうかを重要視する。 内的不確実性と外的不確実性の間に明らかな解離が生じる。 内部的には、このモデルは、実際の歴史的事象(p = 8.9e-11, n = 92 グループ当たり)と作られた歴史的事象(p = 8.9e-11, n = 92 グループ当たり)の間に2.39xのパープレキシティジャンプ比を示し、半ファブリックな出来事(実数と架空の出来事)は最も高いパープレキシティ(4.24x, p = 1.1e-16)を示し、構文的パターンマッチングを超える真の事実エンコーディングを示す。 しかし、外部的には、このモデルは不確実性を表現することは決してない:古典中国の疫学的マーカーは、真のメタ認知というよりも修辞的な慣習を反映して、OOD質問(8.3%、p = 0.023)よりも低いレート(3.5%)で現れる。 3つの言語(古典中国語、英語、日本語)、3つの書記システム、8つのモデル、110Mから1.56Bのパラメータを再現した。 さらに、不確実性表現の頻度は、訓練データ規則によって決定され、古典中国語モデルは「謙虚なパラドックス」(既知のトピックのヘッジ)を示すのに対し、日本語モデルは、ほとんどヘッジしないことを示す。 メタ認知的表現("I don't know"と言う能力)は言語モデリングだけでは現れず、RLHFのような明示的な訓練信号を必要とする。

関連論文リスト

• Repetition Without Exclusivity: Scale Sensitivity of Referential Mechanisms in Child-Scale Language Models [0.0]
  子ども指向音声で訓練された言語モデルにおいて、相互排他性は参照抑制として機能する。 子指向音声における分布学習は、語彙的排他性よりも反復に基づく参照追跡を生成する。 我々は、参照グラウンドディングは、ナチビストではなく、必要な入力構造に関する実証的な主張であるMEにとって必要な要素であるかもしれないと論じる。
  論文  参考訳（メタデータ） (2026-03-14T01:59:50Z)
• Unmasking the Factual-Conceptual Gap in Persian Language Models [0.8180770164225369]
  迷信と慣習に焦点をあてたベンチマークであるDivanBenchを導入し、単純な論理的推論に抵抗する任意の文脈依存ルールを紹介した。 我々はペルシャのLLMを7つ評価し、3つの重大な障害を明らかにした。
  論文  参考訳（メタデータ） (2026-02-19T18:42:46Z)
• DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation [111.94720088481614]
  多モーダル生成モデルは方言テキスト入力を効果的に生成できるのか? 6つの共通英語方言にまたがる大規模ベンチマークを構築した。 マルチモーダル生成モデルのための一般的なエンコーダに基づく緩和戦略を設計する。
  論文  参考訳（メタデータ） (2025-10-16T17:56:55Z)
• CLEAR-3K: Assessing Causal Explanatory Capabilities in Language Models [3.137688620241855]
  CLEAR-3Kは、ある文が別の文を因果的に説明するかどうかを言語モデルが判断できるかどうかを評価するために設計された、3000のアサーション推論質問のデータセットである。 各質問は、意味的関連性と真の因果的説明的関係を区別するために、アサーションとアサーションのペアと挑戦言語モデルを示す。
  論文  参考訳（メタデータ） (2025-06-20T17:35:36Z)
• ZhoBLiMP: a Systematic Assessment of Language Models with Linguistic Minimal Pairs in Chinese [18.90198316015052]
  ZhoBLiMPは、中国語の言語最小ペアの最も包括的なベンチマークである。 次に、中国のコーパスで異なるサイズ(14M〜1.4B)の20個のLMを訓練し、ZhoBLiMPで14個の既製LCMとともに評価する。 全体としては、中国の文法はおよそ5億のパラメータを持つモデルによって学習され、1つのエポックで1Bトークンで訓練され、さらなるスケーリングのメリットが限定されていることを示している。
  論文  参考訳（メタデータ） (2024-11-09T07:16:08Z)
• Perceptions of Linguistic Uncertainty by Language Models and Humans [26.69714008538173]
  言語モデルが不確実性の言語表現を数値応答にどうマッピングするかを検討する。 10モデル中7モデルで不確実性表現を確率的応答に人間的な方法でマッピングできることが判明した。 この感度は、言語モデルは以前の知識に基づいてバイアスの影響を受けやすいことを示している。
  論文  参考訳（メタデータ） (2024-07-22T17:26:12Z)
• PanGu-{\Sigma}: Towards Trillion Parameter Language Model with Sparse Heterogeneous Computing [64.53242758625922]
  PanGu-SigmaはAscend 910 AIプロセッサとMindSporeフレームワークのクラスタでトレーニングされている。 さまざまな中国のNLPダウンストリームタスクのゼロショット学習において、最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-03-20T03:39:27Z)
• Scaling Laws for Generative Mixed-Modal Language Models [103.25737824352949]
  個別のモダリティの貢献とそれら間の相互作用を統一する混合モードスケーリング法則について報告する。 具体的には、過去のユニモーダルスケーリング法則に対する加算項として、データとモデルサイズによる最適シナジーと競合を明示的にモデル化する。 また,訓練中に観察される4つの経験的現象,例えば,自然にモダリティを交互に交互に行う創発的コーディネート・アセット・スタイル・トレーニングを見出した。
  論文  参考訳（メタデータ） (2023-01-10T00:20:06Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。