Чтобы ответить на ваш вопрос о написании словосочетания «не словарная лексика» или «несловарная лексика» нужен контекст.

Если в нем нет противопоставления, слов «отнюдь», «вовсе», «далеко», то прилагательное «словарная» пишется слитно с приставкой не-, которая образовала новое слово-антоним:

словарная лексика — несловарная лексика.

Это прилагательное, поэтому наличие поясняющих слов не играет никакой роли по сравнению с причастиями.

Хотя отметим, что даже не имея всех перечисленных ранее условий, словосочетание «не словарная лексика» может писаться раздельно, если подразумевается противопоставление и делается логическое ударение на отрицательную частицу «не»:

Это не словарная лексика (а…).

В таком контексте прилагательное «не словарная» поясняет сказуемое.

Слитно напишем, если слово «несловарная» является определением к подлежащему.

Несловарная лексика выступает…