論文の概要: From Retrieval to Weights: Parametric Individualization of Small Language Models with Individual Text Corpora

• arxiv url: http://arxiv.org/abs/2609.10155v1
• Date: Wed, 09 Sep 2026 13:32:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.036662
• Title: From Retrieval to Weights: Parametric Individualization of Small Language Models with Individual Text Corpora
• Title（参考訳）: 検索からウェイトへ:個々のテキストコーパスを用いた小言語モデルのパラメトリック個別化
• Abstract要約: 我々は,36項目の多票知識項目に回答した515人の被験者の検索履歴をウェブで調査した。 1つのDoRAアダプタはITCを小さな言語モデル(SLM)に統合し、そのベースラインの正確さは参加者の最も低い準位以下になる。 以上の結果から,ITCをSLMの重みにまとめることが可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 39.03438631397551
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We approach a cognitive simulation perspective on episodic and semantic memory in multiple-choice question answering by incorporating text from individual text corpora (ITC) into retrieval-augmented generation and DoRA fine-tuning. We web-crawl the search histories of 515 participants who answered 36 multiple-choice knowledge items and analyze a stratified subsample of 150 participants. For each participant, one DoRA adapter consolidates their ITC into a small language model (SLM) whose baseline correctness falls below the participants' lowest quartile. The adapter measurably writes the ITC into the weights: it fits its own participant's held-out text better than other participants' texts (dz =1.27), an individuality effect that increases with ITC size in rank order. On the generalized knowledge test, however, the adapter adds knowledge rather than alignment with the individual: log-loss match improves, whereas match accuracy under a bias-corrected PMI readout does not, and retrieval adds nothing on top. Our results demonstrate that ITCs can be consolidated into the weights of SLMs, an encouraging basis for individualized tutoring agents, and we discuss how to move from there toward a realistic simulation of episodic and semantic memory at the individual level.
• Abstract（参考訳）: 個人テキストコーパス(ITC)からのテキストを検索強化世代とDoRAファインタニングに組み込むことにより,多選択質問応答におけるエピソードとセマンティックメモリの認知シミュレーションの視点にアプローチする。 我々は,36項目の多票知識項目に回答した515人の被験者の検索履歴をウェブクロールし,150の参加者からなる階層化されたサブサンプルを分析した。 各参加者に対して、1つのDoRAアダプタはITCをSLM(Small Language Model)に統合する。 他の参加者のテキスト (dz =1.27) よりも参加者の保持されたテキストに適合し、ランク順にITCのサイズが大きくなると個性効果が増大する。 しかし、一般化された知識テストでは、アダプタは個人との整合性よりも知識を付加する: ログロスマッチングは改善されるが、バイアス補正されたPMIの読み出しにおけるマッチング精度は向上せず、検索は何も追加されない。 本研究は,ITCをSLMの重みに集約し,個別化学習エージェントの促進基盤として活用できることを実証し,個別レベルでのエピソードとセマンティックメモリの現実的なシミュレーションに向けて,そこからどのように動くかについて議論した。

関連論文リスト

• Individual Text Corpora Predict User-Specific Knowledge: Benchmarks of Individualized Knowledge Simulation [37.90336748891877]
  本研究は,検索履歴から個々のテキストコーパス(IC)を用いて個々の知識をシミュレートできるかどうかを検討する。 対象は成人316名で,36項目の知識項目に回答し,複数の大規模言語モデル(LLM)を比較した。 Low-Rank Adaptation (LoRA) によるタスク固有の微調整の後、Qwen3-1.7Bは参加者とドイツ代表の標準標本を公開アイテムで上回った。
  論文  参考訳（メタデータ） (2026-09-08T10:19:28Z)
• ReLay: Personalized LLM-Generated Plain-Language Summaries for Better Understanding, but at What Cost? [54.44351107428039]
  大規模言語モデル(LLMs)は、Plain Language Summaries(PLS)をパーソナライズするための新しい機会を提供する パーソナライズが有効か、どの戦略が最も効果的か、そしてパーソナライズと安全のバランスをとるかは、まだ不明である。 ReLayは、静的(専門家による)およびインタラクティブな設定の両方で、50人のレイ参加者から300人の参加者--PLSペアのデータセットを紹介します。 ReLayには、ユーザ特性、健康情報のニーズ、情報検索行動、理解結果、対話ログ、品質評価が含まれている。
  論文  参考訳（メタデータ） (2026-05-01T07:11:12Z)
• From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition [33.4228178732749]
  SITHは、CLIPのビジョントランスフォーマーを重み空間で解析する、完全にデータフリーで、トレーニング不要なフレームワークである。 各アテンションヘッドに対して、その値出力行列を特異ベクトルに分解し、Compoを介して各行列を解釈する。 SITHは, 整合性, 忠実な頭蓋内説明を与え, 再現性, 解釈可能性実験により検証した。
  論文  参考訳（メタデータ） (2026-03-25T17:59:57Z)
• A Personalized Conversational Benchmark: Towards Simulating Personalized Conversations [112.81207927088117]
  PersonaConvBenchは、大規模言語モデル(LLM)とのマルチターン会話におけるパーソナライズされた推論と生成を評価するためのベンチマークである。 我々は,複数の商用およびオープンソース LLM を統一的なプロンプト設定でベンチマークし,パーソナライズされた履歴を組み込むことで大幅な性能向上が得られることを観察した。
  論文  参考訳（メタデータ） (2025-05-20T09:13:22Z)
• UP-Person: Unified Parameter-Efficient Transfer Learning for Text-based Person Retrieval [47.018491164452094]
  テキストベースPerson Retrieval(TPR)は,テキスト記述が与えられた候補画像のプールから対象人物を検索することを目的としたマルチモーダルタスクであり,近年注目されている。 事前の作業では、事前訓練されたCLIPを使用して、人物の視覚的特徴とテキスト的特徴を抽出し、ネットワーク全体を完全に微調整する。 我々は小説『統一』を提案する。 -テキストベースの人検索(UPPerson)のためのPETL(Efficient Transfer Learning)手法を徹底的に導入する。 CLIPからのマルチモーダルな知識。
  論文  参考訳（メタデータ） (2025-04-14T10:40:54Z)
• Findings of the Second BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora [79.03392191805028]
  BabyLM Challengeは、人間と計算言語学習者のデータ効率ギャップを埋めるためのコミュニティの取り組みである。 参加者は1億ワード以下の固定言語データ予算で、言語モデルトレーニングを最適化するために競争する。
  論文  参考訳（メタデータ） (2024-12-06T16:06:08Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• Individual Text Corpora Predict Openness, Interests, Knowledge and Level of Education [0.5825410941577593]
  個々の検索履歴から経験への開放性の個性次元を予測することができる。 個々のテキストコーパス(IC)は,平均500万ワードトークン数214人の参加者から生成される。
  論文  参考訳（メタデータ） (2024-03-29T21:44:24Z)
• ConCET: Entity-Aware Topic Classification for Open-Domain Conversational Agents [9.870634472479571]
  ConCET: Concurrent Entity-aware conversational Topic Classifierを紹介する。 本稿では,合成学習データを生成するための簡便で効果的な手法を提案する。 我々はAmazon Alexa Prizeの一部として収集された実際のユーザとの人間と機械の会話の大規模なデータセットでConCETを評価した。
  論文  参考訳（メタデータ） (2020-05-28T06:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。