論文の概要: Neologism Learning for Controllability and Self-Verbalization
- arxiv url: http://arxiv.org/abs/2510.08506v1
- Date: Thu, 09 Oct 2025 17:41:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 17:54:15.258873
- Title: Neologism Learning for Controllability and Self-Verbalization
- Title（参考訳）: 制御性と自己言語化のためのネオロジズム学習
- Authors: John Hewitt, Oyvind Tafjord, Robert Geirhos, Been Kim,
- Abstract要約: モデルをよりよく理解し、制御するために、新しい単語を導入するというアイデアを探求する。
本手法では、新しい単語を埋め込み、その概念を示す例で訓練することにより、新しい単語を導入する。
新しい単語を追加することで、フラットリー、誤った回答、テキストの長さ、AxBenchのより複雑な概念などの概念を制御できることを示す。
- 参考スコア（独自算出の注目度）: 23.932433693726182
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans invent new words when there is a rising demand for a new useful concept (e.g., doomscrolling). We explore and validate a similar idea in our communication with LLMs: introducing new words to better understand and control the models, expanding on the recently introduced neologism learning. This method introduces a new word by adding a new word embedding and training with examples that exhibit the concept with no other changes in model parameters. We show that adding a new word allows for control of concepts such as flattery, incorrect answers, text length, as well as more complex concepts in AxBench. We discover that neologisms can also further our understanding of the model via self-verbalization: models can describe what each new word means to them in natural language, like explaining that a word that represents a concept of incorrect answers means ``a lack of complete, coherent, or meaningful answers...'' To validate self-verbalizations, we introduce plug-in evaluation: we insert the verbalization into the context of a model and measure whether it controls the target concept. In some self-verbalizations, we find machine-only synonyms: words that seem unrelated to humans but cause similar behavior in machines. Finally, we show how neologism learning can jointly learn multiple concepts in multiple words.
- Abstract（参考訳）: 人間は新しい有用な概念(例えばDoomscrolling)の需要が高まっているときに新しい言葉を発明する。
モデルをよりよく理解し制御するための新しい単語を導入し、最近導入されたネオロジズム学習を拡張します。
本手法では, モデルパラメータに他の変更を加えることなく, 新たな単語を埋め込み, トレーニングすることで, 新たな単語を導入する。
新しい単語を追加することで、フラットリー、誤った回答、テキストの長さ、AxBenchのより複雑な概念などの概念を制御できることを示す。
モデルは、それぞれの新しい単語が自然言語で何を意味しているかを記述できる。例えば、不正確な答えの概念を表す単語は、''a lack of complete, coherent, or meaning answer''を意味すると説明すれば、自己言語を検証するために、プラグイン評価を導入する:モデルのコンテキストに動詞を挿入し、それがターゲット概念を制御するかどうかを測定する。
いくつかの自己言語化では、機械のみの同義語を見つける:人間とは無関係に見えるが、機械内でも同様な振る舞いを引き起こす言葉。
最後に、ネオロジズム学習が複数の単語で複数の概念を共同で学習する方法を示す。
関連論文リスト
- Neologism Learning as a Parameter-Efficient Alternative to Fine-Tuning for Model Steering [1.4066253648292315]
ネオロジズム(英: Neologism)は、あるモデルの語彙にまだ含まれていない概念を表現するために訓練された新しいトークンである。
低ランク適応(LoRA)微調整に対するネオロジズム学習の性能の比較を行った。
また, ネオロジズムの自己言語化についても検討し, ネオロジズムを問うと, モデルが時折新たな単語を生成できることを示した。
論文 参考訳（メタデータ） (2025-12-21T00:45:23Z) - Rapid Word Learning Through Meta In-Context Learning [20.370397855670124]
In-context learNing Of Words(Minnow)のためのメタトレーニング手法を提案する。
この方法は、いくつかの文脈内例から単語の使用例を生成するために言語モデルを訓練する。
Minnowでスクラッチからトレーニングするモデルは、人間のスケールの子供指向言語で、強力な数発の単語学習を可能にしている。
論文 参考訳（メタデータ） (2025-02-20T18:11:38Z) - CoLLEGe: Concept Embedding Generation for Large Language Models [12.812113254812028]
CoLLEGeは、新しい概念のための柔軟な埋め込みを生成することができるメタ学習フレームワークである。
我々は,現実のシナリオに挑戦する上で,新しい概念学習をテストするための一連のタスクを設計する。
論文 参考訳（メタデータ） (2024-03-22T17:26:05Z) - Continuously Learning New Words in Automatic Speech Recognition [56.972851337263755]
音声認識のための自己教師付き連続学習手法を提案する。
文献からのメモリ拡張型ASRモデルを用いて、スライドから新しい単語を復号する。
提案手法により,新たな単語の出現頻度が高くなると,新たな単語のパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2024-01-09T10:39:17Z) - Word sense extension [8.939269057094661]
本稿では,新しい文脈に向けて,単語が新たな感覚を創出することを可能にする,単語知覚拡張(WSE)のパラダイムを提案する。
本研究では,多文語型を異なる感覚を示す2つの擬似トークンに分割することで,単語拡張をシミュレートするフレームワークを開発する。
本フレームワークは,様々な種類の単語知覚拡張をサポートするために,言語モデル埋め込み空間を変換する学習手法と,連鎖の認知モデルを組み合わせる。
論文 参考訳（メタデータ） (2023-06-09T00:54:21Z) - DreamArtist++: Controllable One-Shot Text-to-Image Generation via Positive-Negative Adapter [63.622879199281705]
いくつかの例に基づく画像生成手法が提案されており、例えば、いくつかの入力参照の健全な特徴を吸収して新しい概念を生成する。
本研究では,DreamArtistというシンプルなフレームワークを提案する。このフレームワークは,事前学習した拡散モデルに対して,新しい正負の学習戦略を採用する。
我々は,画像類似性(忠実度)と多様性,生成制御性,スタイルのクローニングから,幅広い実験を行い,提案手法の評価を行った。
論文 参考訳（メタデータ） (2022-11-21T10:37:56Z) - FALCON: Fast Visual Concept Learning by Integrating Images, Linguistic
descriptions, and Conceptual Relations [99.54048050189971]
自然に発生する複数のデータストリームによってガイドされる新しい視覚概念を素早く学習するフレームワークを提案する。
学習された概念は、未知の画像について推論することで質問に答えるなど、下流のアプリケーションをサポートする。
合成と実世界の両方のデータセットにおけるモデルの有効性を実証する。
論文 参考訳（メタデータ） (2022-03-30T19:45:00Z) - Short-Term Word-Learning in a Dynamically Changing Environment [63.025297637716534]
本稿では、単語/フレーズメモリと、このメモリにアクセスして単語やフレーズを正しく認識するためのメカニズムを用いて、エンドツーエンドのASRシステムを補完する方法を示す。
誤報がわずかに増加しただけで, 単語の検出速度が大幅に向上した。
論文 参考訳（メタデータ） (2022-03-29T10:05:39Z) - My Teacher Thinks The World Is Flat! Interpreting Automatic Essay
Scoring Mechanism [71.34160809068996]
最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。
近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。
また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
論文 参考訳（メタデータ） (2020-12-27T06:19:20Z) - Bongard-LOGO: A New Benchmark for Human-Level Concept Learning and
Reasoning [78.13740873213223]
ボナード問題(BP)は、インテリジェントシステムにおける視覚認知へのインスピレーションとして導入された。
我々は人間レベルの概念学習と推論のための新しいベンチマークBongard-LOGOを提案する。
論文 参考訳（メタデータ） (2020-10-02T03:19:46Z) - Word meaning in minds and machines [18.528929583956725]
我々は、現代のNLPシステムは人間の単語類似性のモデルとしてかなり成功したが、他の多くの点で不足していると主張している。
現在のモデルは、大きなコーパスのテキストベースのパターンに強く結びついており、人々が言葉を通して表現する欲求、目標、信念に弱く結びついている。
我々は、NLPシステムを基盤とするより有望なアプローチについて議論し、それらがより人間らしく概念的な言葉の意味の基盤でより成功していくと論じる。
論文 参考訳（メタデータ） (2020-08-04T18:45:49Z) - Word Sense Disambiguation for 158 Languages using Word Embeddings Only [80.79437083582643]
文脈における単語感覚の曖昧さは人間にとって容易であるが、自動的アプローチでは大きな課題である。
本稿では,学習前の標準単語埋め込みモデルを入力として,完全に学習した単語認識のインベントリを誘導する手法を提案する。
この手法を用いて、158の言語に対して、事前訓練されたfastText単語の埋め込みに基づいて、センスインベントリのコレクションを誘導する。
論文 参考訳（メタデータ） (2020-03-14T14:50:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。