論文の概要: Exploring How LLMs Capture and Represent Domain-Specific Knowledge

• arxiv url: http://arxiv.org/abs/2504.16871v2
• Date: Thu, 24 Apr 2025 15:21:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 15:12:18.200643
• Title: Exploring How LLMs Capture and Represent Domain-Specific Knowledge
• Title（参考訳）: LLMの獲得とドメイン特化知識の表現方法を探る
• Authors: Mirian Hipolito Garcia, Camille Couturier, Daniel Madrigal Diaz, Ankur Mallick, Anastasios Kyrillidis, Robert Sim, Victor Ruhle, Saravan Rajmohan,
• Abstract要約: 本研究では,Large Language Models (LLM) が本質的に自然言語のドメイン固有ニュアンスをキャプチャするかどうかを検討する。 実験では,LLMの領域感度を,異なる領域からクエリを識別する能力について検討した。 本稿では,クエリドメインの内部認識を示す潜在ドメイン関連トラジェクトリを明らかにする。
• 参考スコア（独自算出の注目度）: 16.84031546207366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study whether Large Language Models (LLMs) inherently capture domain-specific nuances in natural language. Our experiments probe the domain sensitivity of LLMs by examining their ability to distinguish queries from different domains using hidden states generated during the prefill phase. We reveal latent domain-related trajectories that indicate the model's internal recognition of query domains. We also study the robustness of these domain representations to variations in prompt styles and sources. Our approach leverages these representations for model selection, mapping the LLM that best matches the domain trace of the input query (i.e., the model with the highest performance on similar traces). Our findings show that LLMs can differentiate queries for related domains, and that the fine-tuned model is not always the most accurate. Unlike previous work, our interpretations apply to both closed and open-ended generative tasks
• Abstract（参考訳）: 本研究では,Large Language Models (LLM) が本質的に自然言語のドメイン固有ニュアンスをキャプチャするかどうかを検討する。 本実験では, プレフィル期間中に発生する隠れ状態を用いて, 異なる領域からのクエリを識別する能力を検証し, LLMの領域感度について検討した。 本稿では,クエリドメインの内部認識を示す潜在ドメイン関連トラジェクトリを明らかにする。 また、これらの領域表現のロバスト性から、プロンプトスタイルやソースのバリエーションについても検討する。 我々のアプローチは、これらの表現をモデル選択に利用し、入力クエリのドメイントレース(例えば、類似のトレース上で最高のパフォーマンスを持つモデル)に最もよくマッチするLLMをマッピングする。 以上の結果から,LLMは関連領域のクエリを識別し,微調整モデルが最も正確であるとは限らないことが示唆された。 これまでの研究とは異なり、我々の解釈はクローズドおよびオープンエンドの両方の生成タスクに適用される。

関連論文リスト

• What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization [10.079844840768054]
  ドメインの一般化は、新しい、目に見えないデータ分布に一般化できるモデルを開発することを目的としている。 モデルアーキテクチャと事前学習の目的が機能豊かさに与える影響について検討する。 我々のフレームワークは、最大4%以上のテスト精度向上により、未確認領域への一般化を改善する。
  論文  参考訳（メタデータ） (2025-03-09T17:29:01Z)
• Leveraging Domain Knowledge at Inference Time for LLM Translation: Retrieval versus Generation [36.41708236431343]
  機械翻訳(MT)において,大規模言語モデル (LLM) がますます採用されている。 本研究は,LLMを用いたドメイン適応MTについて,慎重なプロンプト設定により検討する。 実演は用語学を一貫して上回り、検索は生成を一貫して上回ります。
  論文  参考訳（メタデータ） (2025-03-06T22:23:07Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis [33.86086075084374]
  アスペクトベース感情分析(ABSA)は感情分析の重要なサブタスクである。 ABSAのための大規模言語モデルに基づく連続学習(textttLLM-CL)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-09T02:00:07Z)
• DIGIC: Domain Generalizable Imitation Learning by Causal Discovery [69.13526582209165]
  因果性は機械学習と組み合わせて、ドメインの一般化のための堅牢な表現を生成する。 我々は、実証データ分布を活用して、ドメインの一般化可能なポリシーの因果的特徴を発見するために、異なる試みを行っている。 DIGICと呼ばれる新しいフレームワークを設計し、実演データ分布から専門家行動の直接的な原因を見出すことにより因果的特徴を識別する。
  論文  参考訳（メタデータ） (2024-02-29T07:09:01Z)
• Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning [48.22913073217633]
  大規模言語モデル(LLM)は、インコンテキスト学習(in-context learning)として知られる少数の推論でその能力を示した。 本稿では,UDA問題を文脈内学習環境下で研究し,ソースドメインからターゲットドメインへの言語モデルの適用を,ターゲットラベルを使わずに行う。 我々は、異なるLMアーキテクチャを考慮し、異なるプロンプトとトレーニング戦略を考案し、言語モデリングを通してターゲット分布を学習する。
  論文  参考訳（メタデータ） (2023-11-20T06:06:20Z)
• One Model for All: Large Language Models are Domain-Agnostic Recommendation Systems [43.79001185418127]
  本稿では,事前学習された大規模言語モデル(LLM)をドメインに依存しない推薦に利用するフレームワークを提案する。 具体的には、複数のドメインやアイテムタイトルからのユーザの振る舞いを文に混ぜて、ユーザとアイテムの表現を生成するためにLLMを使用する。
  論文  参考訳（メタデータ） (2023-10-22T13:56:14Z)
• Domain-Controlled Prompt Learning [49.45309818782329]
  既存の素早い学習方法はドメイン認識やドメイン転送機構を欠いていることが多い。 特定のドメインに対するtextbfDomain-Controlled Prompt Learningを提案する。 本手法は,特定の領域画像認識データセットにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-30T02:59:49Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
  ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。 一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。