В слове «костёр» имеется безударный гласный в корне:
костёр_ — корень/окончание.
Проверочное слово к слову «костёр» не существует в русском языке, так как ни в одном родственном слове ударение не смещается на безударный гласный. «Костёр» — это словарное слово.
Чтобы понять, почему в этом слове пишется всё-таки буква «о», а не «а», обращаемся к этимологии.
Эта лексема является общеславянской. Славянское kostra обозначала твердую кору для пряжи, а также этимологически связано со словом «кость».