論文の概要: Behavioral Couplings: From Formation to Behavioral Emergence in Language Models

• arxiv url: http://arxiv.org/abs/2610.23847v1
• Date: Fri, 16 Oct 2026 17:58:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.063117
• Title: Behavioral Couplings: From Formation to Behavioral Emergence in Language Models
• Title（参考訳）: 行動結合:言語モデルにおける行動形成から行動創発へ
• Abstract要約: 微調整された大きな言語モデルは、明示的にターゲットされたもの以上の振る舞いを誘発することができる。 我々は、行動間の関係について言及し、そこでは、行動の結合として、ある行動に微調整を施すことによって別の行動が生み出される。 モデルが2つの異なる振る舞いを記述する文書で訓練されると、それを微調整して1つの振る舞いを引き出すと、もう1つの振る舞いも現れる。
• 参考スコア（独自算出の注目度）: 33.48702355785817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models (LLMs) can induce behaviors beyond those explicitly targeted. For example, training a model to respond more warmly can make it more sycophantic, and training it to write insecure code can cause broad misalignment on prompts unrelated to coding. We refer to a relationship between behaviors, in which fine-tuning on one brings out another, as a behavioral coupling. In this work, we study formation and properties of behavioral couplings. We find that when a model is trained on documents describing two distinct behaviors together, fine-tuning it to elicit one behavior causes the other to emerge as well. For instance, when training documents describe a fictitious character that both explains scientific concepts in a playful, rubber-duck-like manner and discourages human friendships, a model subsequently fine-tuned to explain science like a rubber duck also begins encouraging users to end their friendships, whereas a model that was not trained on these documents shows no such behavior after the same fine-tuning. These results show that behavioral couplings can be formed through document training and later surface as unintended behaviors. More concerningly, we find that couplings can compose. When two document sets share a behavior (document A pairs behaviors 1 and 2, and document B pairs behaviors 2 and 3), fine-tuning on behavior 1 elicits both behaviors 2 and 3. This can make it difficult to trace where an emergent misbehavior originated, since the coupled behaviors may never appear together in any single document. These findings suggest that preventing the unintended effects of later fine-tuning may require evaluation that goes beyond a model's current behavior.
• Abstract（参考訳）: 微調整された大きな言語モデル(LLM)は、明示的にターゲットされたモデルを超えた振る舞いを誘導することができる。 例えば、モデルにもっと温かく反応するようにトレーニングすることは、よりサイコファン的になり、安全でないコードを書くようにトレーニングすることは、コーディングとは無関係なプロンプトに対して広範囲のミスアライメントを引き起こす可能性がある。 我々は、行動間の関係について言及し、そこでは、行動の結合として、ある行動に微調整を施すことによって別の行動が生み出される。 本研究では, 挙動結合の形成と性質について検討する。 モデルが2つの異なる振る舞いを記述する文書で訓練されると、それを微調整して1つの振る舞いを引き出すと、もう1つの振る舞いも現れる。 例えば、科学的概念を遊び心のあるゴムのような方法で説明し、人間の友情を損なう架空の性格を訓練文書で記述する場合、その後、ゴムアヒルのような科学を説明するために微調整されたモデルも利用者に友情を終わらせるよう促し始める一方、これらの文書で訓練されなかったモデルは、同じ微調整の後にそのような行動を示さない。 これらの結果から, 文書学習により行動結合が形成され, その後, 意図しない行動として表面化されることが示唆された。 より具体的には、結合は構成できる。 2つの文書セットが行動を共有する場合(文書A対の行動1と2、文書B対の行動2と3)、行動1の微調整は2と3の両方の行動を引き出す。 このことは、結合した振る舞いが単一のドキュメントに決して一緒に現れないため、創発的な振る舞いがどこから生まれたかを追跡するのを難しくする可能性がある。 これらの結果は、後続の微調整による意図しない効果を防ぐには、モデルの現在の振る舞いを超えた評価が必要であることを示唆している。

関連論文リスト

• Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision [49.12474373883331]
  固定された反事実的説明に基づいて訓練されたLMが、訓練対象よりも現在の行動に忠実な説明をもたらすことを示す。 この「内省的」結合は、トレーニングの過程における現在の行動と十分な相関が保たれているときに起こる。 また, イントロスペクティブ・カップリング・トラックは, 他のトレーニング後の目標と並行して説明訓練を行う場合, 最新の監視を必要とせず, それらの変化をトラックする。
  論文  参考訳（メタデータ） (2026-06-30T17:59:32Z)
• How to Interpret Agent Behavior [56.59836196946289]
  本稿では,エージェントの動作を実行時に記述・解析するための分類法であるACT*ONOMYを紹介する。 共用語彙を提供することで、ACT*ONOMYは研究者、エージェントデザイナー、エンドユーザーがエージェントの振る舞いをより一貫して解釈するのに役立つ。
  論文  参考訳（メタデータ） (2026-05-13T14:52:40Z)
• Representation Surgery: Theory and Practice of Affine Steering [72.61363182652853]
  言語モデルは、しばしば好ましくない振る舞いを示す。 モデルが望ましくない振る舞いを示すのを防ぐための自然な(そして一般的な)アプローチの1つは、モデルの表現を操ることである。 本稿では, ステアリング機能の形式的および経験的特性について検討する。
  論文  参考訳（メタデータ） (2024-02-15T00:20:30Z)
• Generative Models as a Complex Systems Science: How can we make sense of large language model behavior? [75.79305790453654]
  事前訓練されたモデルから望ましい振る舞いを排除し、望ましくないモデルを避けながら、NLPを再定義した。 言語モデルの振る舞いをタスク間性能を説明するカテゴリに分解する体系的な取り組みについて論じる。
  論文  参考訳（メタデータ） (2023-07-31T22:58:41Z)
• Overthinking the Truth: Understanding how Language Models Process False Demonstrations [32.29658741345911]
  モデルの内部表現のレンズを通して有害な模倣を研究する。 我々は「過剰思考」と「偽誘導頭部」の2つの関連する現象を同定する。
  論文  参考訳（メタデータ） (2023-07-18T17:56:50Z)
• Habits and goals in synergy: a variational Bayesian framework for behavior [22.461524318820672]
  効果的かつ柔軟に振る舞う方法は、生物学的エージェントを理解し、インテリジェントなエンボディAIを作成するための中心的な問題である。 行動は2つのタイプに分類されることが知られている:報酬を最大化する習慣的行動。 我々は、変分ベイズ理論の原理に基づいて、2つの挙動のギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2023-04-11T06:28:14Z)
• Shaking the foundations: delusions in sequence models for interaction and control [45.34593341136043]
  我々は、シーケンスモデルが「行動の原因と効果の理解を欠く」ことを示し、それらが自己提案的妄想によって誤った推論を引き出す結果となった。 教師付き学習では,実ミス信号と反実エラー信号とをそれぞれ学習することで,データに対する条件付けや介入をシステムに教えることができることを示す。
  論文  参考訳（メタデータ） (2021-10-20T23:31:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。