論文の概要: Human-Inspired Learning for Large Language Models via Obvious Record and Maximum-Entropy Method Discovery

• arxiv url: http://arxiv.org/abs/2512.12608v1
• Date: Sun, 14 Dec 2025 09:12:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.343913
• Title: Human-Inspired Learning for Large Language Models via Obvious Record and Maximum-Entropy Method Discovery
• Title（参考訳）: 暗黙の記録と最大エントロピー法による大規模言語モデルの人間による学習
• Authors: Hong Su,
• Abstract要約: 本稿では,2つの相補的なメカニズムを組み込んだヒューマンインスピレーション学習フレームワークを提案する。 第一のObvious Recordは、因果関係(または疑問解決)を象徴記憶として明示的に記憶する。 第二に、最大エントロピー法発見(Maximum-Entropy Method Discovery)は、高いセマンティックな相似性を持つメソッドを優先順位付けし、保存する。
• 参考スコア（独自算出の注目度）: 0.11844977816228043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) excel at extracting common patterns from large-scale corpora, yet they struggle with rare, low-resource, or previously unseen scenarios-such as niche hardware deployment issues or irregular IoT device behaviors-because such cases are sparsely represented in training data. Moreover, LLMs rely primarily on implicit parametric memory, which limits their ability to explicitly acquire, recall, and refine methods, causing them to behave predominantly as intuition-driven predictors rather than deliberate, method-oriented learners. Inspired by how humans learn from rare experiences, this paper proposes a human-inspired learning framework that integrates two complementary mechanisms. The first, Obvious Record, explicitly stores cause--result (or question--solution) relationships as symbolic memory, enabling persistent learning even from single or infrequent encounters. The second, Maximum-Entropy Method Discovery, prioritizes and preserves methods with high semantic dissimilarity, allowing the system to capture diverse and underrepresented strategies that are typically overlooked by next-token prediction. Verification on a benchmark of 60 semantically diverse question--solution pairs demonstrates that the proposed entropy-guided approach achieves stronger coverage of unseen questions and significantly greater internal diversity than a random baseline, confirming its effectiveness in discovering more generalizable and human-inspired methods.
• Abstract（参考訳）: 大きな言語モデル(LLMs)は、大規模なコーパスから共通パターンを抽出する上で優れていますが、トレーニングデータにわずかに表現されているため、ニッチなハードウェアデプロイメントの問題や不規則なIoTデバイスの動作といった、まれで低リソース、あるいはこれまで見られなかったシナリオに苦労しています。 さらに、LLMは暗黙のパラメトリックメモリに大きく依存しており、メソッドを明示的に取得、リコール、洗練する能力に制限があり、故意のメソッド指向学習者ではなく直観駆動予測者として主に振る舞う。 本稿では,人間が稀な経験から学ぶ方法に触発されて,2つの相補的なメカニズムを組み込んだ,人間に触発された学習フレームワークを提案する。 第一のObvious Recordは、因果関係を象徴的な記憶として明示的に保存し、単一または稀な出会いからでも永続的な学習を可能にする。 第二に、最大エントロピー法発見(Maximum-Entropy Method Discovery)は、高い意味的な相似性でメソッドを優先順位付けし、保存する。 60のセマンティックな多様な質問対のベンチマークの検証は、提案されたエントロピー誘導アプローチが、ランダムなベースラインよりも、目に見えない質問のより強力なカバレッジと、内部の多様性を実現し、より一般化可能で人間にインスパイアされた方法の発見に有効であることを実証している。

関連論文リスト

• Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models [0.0]
  エラーは均一に分散されていないが、重要な決定ジャンクションを表すスパースな"キートークン"に集中していることを示す。 本稿では,意味的に重要なトークンを選択的に保存することを目的とした次世代システムのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:57:31Z)
• Few-Shot, No Problem: Descriptive Continual Relation Extraction [27.296604792388646]
  AIシステムが現実世界のドメインにおける進化する関係を識別し、適応できるようにする上で、わずかなショットの連続関係抽出は重要な課題である。 従来のメモリベースのアプローチは、しばしば限られたサンプルに過度に適合し、古い知識の強化に失敗する。 本稿では,関係関係記述を生成するために,大規模言語モデルから始まる新しい検索ベースソリューションを提案する。
  論文  参考訳（メタデータ） (2025-02-27T23:44:30Z)
• USDRL: Unified Skeleton-Based Dense Representation Learning with Multi-Grained Feature Decorrelation [24.90512145836643]
  本稿では,特徴デコレーションに基づく統一骨格に基づくDense Representation Learningフレームワークを提案する。 我々のアプローチは現在のSOTA(State-of-the-art)アプローチよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-12-12T12:20:27Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning [62.05713042908654]
  本稿では,これらの課題を克服するために,高品質な実演データを活用する新しいアプローチであるAlignment from Demonstrations (AfD)を紹介する。 AfDをシーケンシャルな意思決定フレームワークで形式化し、報酬信号の欠如というユニークな課題を強調します。 そこで本研究では,AfD に適した報酬モデル上で補間を行う計算効率のよいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-24T15:13:53Z)
• Learning Transferable Adversarial Robust Representations via Multi-view Consistency [57.73073964318167]
  デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。 未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T11:48:01Z)
• FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation [69.34011200590817]
  本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。 単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。 我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
  論文  参考訳（メタデータ） (2022-05-31T18:33:15Z)
• Rethinking Bayesian Learning for Data Analysis: The Art of Prior and Inference in Sparsity-Aware Modeling [20.296566563098057]
  信号処理と機械学習のためのスパースモデリングは、20年以上にわたって科学研究の焦点となっている。 本稿では,3つの一般的なデータモデリングツールにスパーシティ・プロモーティング・プリエントを組み込むことの最近の進歩を概観する。
  論文  参考訳（メタデータ） (2022-05-28T00:43:52Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。