論文の概要: Where Do LLMs Learn to Recommend AI?

• arxiv url: http://arxiv.org/abs/2610.29785v1
• Date: Wed, 21 Oct 2026 14:13:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.382123
• Title: Where Do LLMs Learn to Recommend AI?
• Title（参考訳）: LLMはAIを推奨する方法をどこで学ぶのか?
• Abstract要約: 大規模言語モデル(LLM)はAI関連のオプションを推奨することが多い。 微調整前後のモデルを比較することで、この傾向がどこから来ているのかを尋ねる。
• 参考スコア（独自算出の注目度）: 17.86909605285373
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Asked what to study, which career to pursue, or what product to build, large language models (LLMs) often recommend AI-related options. We ask where this tendency comes from by comparing models before and after fine-tuning and by varying how questions are asked. First, pretrained models already include explicit AI/ML terms in the recommendations of 27% of their responses, and their released instruction-tuned versions do so in 59%. Second, fine-tuning models ourselves shows that this rise is not inevitable: general instruction tuning leaves the rate unchanged, but removing the 7% of instruction examples that concern AI cuts it by 14 percentage points, below the level of the pretrained models it starts from. Data rewarding helpfulness raise it by 9 points, while data ranked by the preferences of diverse simulated users lower it by 9. Finally, with models held fixed, asking for the "best" option or for what to do "right now" raises the rate by 8 and 18 points, whereas telling the model it is an AI advisor adds 4. Overall, the tendency starts in pretraining, and what models learn afterward, together with how a question is phrased, decides how strongly it appears.
• Abstract（参考訳）: 何を学ぶか、どのキャリアを追求するか、どの製品を構築するかを尋ねると、大きな言語モデル(LLM)はAI関連の選択肢を推奨することが多い。 この傾向は、微調整前後のモデルの比較と、質問の仕方の違いによるものである。 まず、事前訓練されたモデルにはすでに27%の回答を推奨する明示的なAI/ML用語が含まれており、リリースした命令チューニングバージョンは59%である。 第2に、微調整モデル自体が、この上昇は必然的ではないことを示している。一般的な命令チューニングでは、レートが変わらないが、AIに関する命令例の7%を取り除き、トレーニング済みモデルのレベル以下に14ポイント削減する。 データ報酬の有用性は9ポイント上昇し、多様なシミュレートされたユーザーの好みによってランク付けされたデータは9ポイント低下した。 最後に、モデルが固定され、"ベスト"オプションや"今すぐ"すべきことを求めると、レートが8ポイントから18ポイント上昇します。 全体として、プレトレーニングの傾向は始まり、モデルが後から学習する傾向は、質問がどのようにフレーズ化されているかとともに、それがどれだけ強く現れるかを決定する。

関連論文リスト

• ArchitectureIQ: On the Measure of Training Intuition [14.807605632197223]
  LLMと人間のモデル直観を測定する。 LLMのモデル直観はよいが、4つの制限がある。 これは、データがAIの真の"ダークマター"であることを示唆している。
  論文  参考訳（メタデータ） (2026-09-30T13:28:28Z)
• Don't Throw Away Your Pretrained Model [68.63558351111303]
  私たちは、モデルコラボレーションを通じて両方の世界を最大限に活用することを目指しています。 そこで我々は,事前訓練されたモデルバージョンが,応答シーケンスで「話し方」を交互に行うスイッチ生成を提案する。
  論文  参考訳（メタデータ） (2025-10-10T23:12:20Z)
• FedRef: Communication-Efficient Bayesian Fine-Tuning using a Reference Model [0.7100520098029438]
  フェデレーション学習(FL)は、人工知能(AI)モデルを協調的にトレーニングし、ユーザのデータのプライバシを保証する。 従来の研究では、モデル性能を向上させるためにモデル最適化、微調整、パーソナライゼーションが提案されている。 本稿では,各ラウンドにおける破滅的忘れを克服するフェデレーション学習のための参照モデルに基づくファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2025-06-29T12:41:11Z)
• Self-Taught Evaluators [77.92610887220594]
  本稿では,人工的なトレーニングデータのみを用いて,人間のアノテーションを使わずに即興で証明することを目的としたアプローチを提案する。 我々の自己学習評価器は、RewardBench上で75.4から88.3までの強いLDMを改善することができる。
  論文  参考訳（メタデータ） (2024-08-05T17:57:02Z)
• Self-Supervised Alignment with Mutual Information: Learning to Follow Principles without Preference Labels [33.84519044168631]
  本稿では,事前学習した言語モデルを好みラベルや実演を必要とせずに微調整するアルゴリズムであるSAMIを紹介する。 単ターン対話および要約において、SAMI訓練ミストラル7bは、初期事前学習モデルよりも優れる。 この結果から,事前学習したLMは,優先ラベルやデモ,人間の監視を使わずに,構成に従うことができることがわかった。
  論文  参考訳（メタデータ） (2024-04-22T16:20:36Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Zephyr: Direct Distillation of LM Alignment [59.03530095974505]
  ユーザ意図に合わせた,より小さな言語モデルの実現を目指しています。 従来の研究では、より大規模なモデルに教師付き微調整(dSFT)を適用することにより、タスクの精度が大幅に向上することが示されている。 蒸留直接選好最適化(dDPO)を用いて,意図のアライメントを大幅に改善したチャットモデルを学習する。
  論文  参考訳（メタデータ） (2023-10-25T19:25:16Z)
• RAIN: Your Language Models Can Align Themselves without Finetuning [25.703729145091483]
  大型言語モデル(LLM)は人間の好みと矛盾することが多い。 本研究では,不整合 LLM が自己ブーイングによって直接人間の嗜好に整合した応答を生成可能であることを示す。 本稿では,自己回帰推論(Rewindable Auto-Regressive Inference)という新しい推論手法を導入する。
  論文  参考訳（メタデータ） (2023-09-13T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。