論文の概要: From Parameters to Answers: How LLMs Retrieve and Use Their Internal Knowledge

• arxiv url: http://arxiv.org/abs/2609.11859v1
• Date: Thu, 10 Sep 2026 17:39:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.459519
• Title: From Parameters to Answers: How LLMs Retrieve and Use Their Internal Knowledge
• Title（参考訳）: パラメータから回答へ:LLMはどのようにして内部知識を検索し利用するか
• Abstract要約: 国別質問を名詞,形容詞,およびコード回答と比較し,いくつかの適切な測定値を維持した。 凍結したQwen自然探索状態の診断的再解析により、ペア条件の方向は、後に適合した知識が変化し始める前に強く成長することが示された。 一致したQwen比較は、ペア条件の方向が遅延効果を保っていることを示しているので、この操作ハンドオフは全ての要求情報ではなく、グローバルな適合した方向に関するものである。
• 参考スコア（独自算出の注目度）: 27.948601730398156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How does a language model's dependence on query-routing information and target knowledge change as it answers a question? We study this question through layerwise interventions on the hidden state at the end of the question. Across Qwen, Llama, and Gemma, we compare country-continent questions with noun, adjective, and code answers while keeping several fitted measurements distinct. A pair-conditioned request direction describes which country is queried in natural single-country questions; a global request direction describes first- versus second-country requests in paired questions; separate selection candidates test control among contents already available in the hidden state. A diagnostic reanalysis of frozen Qwen natural-question states shows that the pair-conditioned direction grows stronger before interventions on it begin to alter later fitted knowledge, with this causal window opening while answer-supporting content is still forming. The paired three-model trajectories are not uniform: Gemma shows a partially overlapping mid-layer routing-content profile, whereas Llama has no sustained routing-effect window under the same gates. In the paired protocol, dependence on the global request direction decreases from fixed earlier to later layer sets while dependence on fitted content persists. A matched Qwen comparison shows that the pair-conditioned direction retains a late effect, so this operational handoff concerns the global fitted direction rather than all request information. These results separate early readability, natural strength, causal steering, and later content dependence.
• Abstract（参考訳）: 問合せ情報への言語モデルの依存と、問合せに答える際の目標知識の変化についてはどう考えるか。 質問の最後に隠された状態に階層的に介入することで、この問題を考察する。 Qwen, Llama, Gemmaの他, 国別質問を名詞, 形容詞, コード回答と比較し, 適度な測定値を維持した。 ペア条件の要求方向は、どの国が自然の単一国質問でクエリされているかを記述し、グローバル要求方向は、ペア化された質問で第1と第2の国リクエストを記述し、隠れた状態で既に利用可能なコンテンツ間で、選択候補のテスト制御を分離する。 凍結したQwen自然探索状態の診断的再解析により、ペア条件付き方向は、後に適合した知識が変化し始める前に強く成長し、この因果窓は解答支援コンテンツがまだ形成されていることを示している。 Gemmaは部分的に重なり合う中間層ルーティング-コンテンツプロファイルを示すが、Llamaは同一ゲートの下に持続的なルーティング-効果ウィンドウを持たない。 ペアプロトコルでは、グローバルな要求方向への依存が早期から後期のレイヤセットに固定され、適合したコンテンツへの依存が持続する。 一致したQwen比較は、ペア条件の方向が遅延効果を保っていることを示しているので、この操作ハンドオフは全ての要求情報ではなく、グローバルな適合した方向に関するものである。 これらの結果は、早期の可読性、自然の強さ、因果的ステアリング、およびその後の内容依存を分離する。

関連論文リスト

• Self-Study Reconsidered: The Hidden Fragility of Learning from Self-Generated QA [40.94400211806987]
  言語モデルは、QA(Synthetic Question Aswer)の監督によって、ますます教えられている。 この生成ステップが中立的な前処理ではないことを示す。 このような障害モードは,QA生成時の選択から発生し,トレーニングループを変更することなく低減できることを示す。
  論文  参考訳（メタデータ） (2026-06-30T17:35:14Z)
• Clarify or Answer: Reinforcement Learning for Agentic VQA with Context Under-specification [10.412378789389544]
  質問や回答の決定を別々にモデル化し,必要であれば何を求めるべきかをモデル化する質問・回答エージェントであるCoAを提案する。 CoAはまず、明確化が必要なのかを判断する。もしそうなら、単一の焦点を絞った質問をし、最後に答えを出すために応答を組み込む。 CoAはモジュールレベルとシステムレベルで一貫した改善を実現し、プロンプトベースのベースラインよりも平均+15.3ポイント(83%)のエンドツーエンドのVQA精度を向上させる。
  論文  参考訳（メタデータ） (2026-01-23T02:12:33Z)
• Probabilistic Tree-of-thought Reasoning for Answering Knowledge-intensive Complex Questions [93.40614719648386]
  大規模言語モデル(LLM)は、知識集約的な複雑な質問にチェーン・オブ・シント(CoT)推論で答えることができる。 最近の研究は、CoT推論を強化するための外部知識の回収に向けられている。 確率的ツリー・オブ・シント推論(ProbTree)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-23T12:52:37Z)
• When to Read Documents or QA History: On Unified and Selective Open-domain QA [22.941325275188376]
  本稿では,知識資源を活用した多様な質問に答えることを目的として,オープンドメイン質問応答の問題について検討する。 QAペアと文書コーパスの2種類のソースは、以下の相補的な強度で積極的に活用されている。 したがって、自然なフォローアップが両方のモデルを活用する一方で、単純でパイプライニングや統合的なアプローチは、どちらのモデルよりも追加的な利益をもたらすことができませんでした。
  論文  参考訳（メタデータ） (2023-06-07T06:03:39Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• IfQA: A Dataset for Open-domain Question Answering under Counterfactual Presuppositions [54.23087908182134]
  本稿では,QA(FifQA)と呼ばれる,最初の大規模対実的オープンドメイン質問応答(QA)ベンチマークを紹介する。 IfQAデータセットには3,800以上の質問が含まれている。 IfQAベンチマークによって引き起こされるユニークな課題は、検索と対実的推論の両方に関して、オープンドメインのQA研究を促進することである。
  論文  参考訳（メタデータ） (2023-05-23T12:43:19Z)
• Open-domain Question Answering via Chain of Reasoning over Heterogeneous Knowledge [82.5582220249183]
  異種知識ソース間のシングル/マルチホップ質問に応答する新しいオープンドメイン質問応答(ODQA)フレームワークを提案する。 分離された証拠を収集するためにレトリバーにのみ依存する従来の方法とは異なり、我々の仲介者は検索された集合に対する推論の連鎖を実行する。 本システムは,2つのODQAデータセットであるOTT-QAとNQに対して,Wikipediaの表や節に対する競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-22T03:21:32Z)
• Context Generation Improves Open Domain Question Answering [102.34183939011352]
  関連知識を抽出し,質問に答えるために,粗大なアプローチを用いる2段階のクローズドブックQAフレームワークを提案する。 本手法は,学習可能なパラメータの追加や微調整を必要とせずに,事前学習したLMの知識をうまく活用することができる。
  論文  参考訳（メタデータ） (2022-10-12T16:00:50Z)
• Multifaceted Improvements for Conversational Open-Domain Question Answering [54.913313912927045]
  対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。 第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。 第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。 第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
  論文  参考訳（メタデータ） (2022-04-01T07:54:27Z)
• Improving Unsupervised Question Answering via Summarization-Informed Question Generation [47.96911338198302]
  質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、 我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。 得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
  論文  参考訳（メタデータ） (2021-09-16T13:08:43Z)
• Answering Ambiguous Questions through Generative Evidence Fusion and Round-Trip Prediction [46.38201136570501]
  本稿では,複数の通路からの証拠を集約し,一つの回答や質問対の集合を適応的に予測するモデルを提案する。 我々のモデルはRefuelと呼ばれ、AmbigQAデータセット上で新しい最先端のパフォーマンスを実現し、NQ-OpenおよびTriviaQA上での競合性能を示す。
  論文  参考訳（メタデータ） (2020-11-26T05:48:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。