[Кирилл Юдин]

Вот порылся, в основном нахожу подтверждение своего понимания этих слов (даже Крылова цитаты приводят именно с вариантом "невежда"). Но вот нашёл такое объяснение (оказывается оно не устарело, а наоборот - разделилось):

Чуть ли не с детского сада нам объясняли разницу между этими двумя словами. Одно означает грубияна, другое – неуча. Но никто и никогда не рассказывал, почему дерзость невежи и недалёкость невежды обозначаются одним и тем же словом «невежество».

Дело в том, что ещё двести лет назад между словами «невежа» и «невежда» не было смысловых различий. Как свидетельствует академик В. Виноградов, разделение слов по значению – «продукт послепушкинской эпохи». Первоначально же и то, и другое означали, во-первых, простака, неученого, безграмотного; во-вторых, тех людей, «которые не наблюдают в поступках учтивства, не умеют поступать благопристойно».

Невежа было общеупотребительным, невежда использовалось в церковно-славянском языке. Оба слова происходят от глагола «ведать» – «знать, быть опытным». Слово вежа на древнерусском означало «опытный, сведущий человек», отсюда же прилагательное «вежливый» (знающий, как себя вести). В принципе, даже сейчас, когда смыслы слов разделились, хорошо видна их родственность: грубость, как правило, свидетельствует о явном недостатке образования.