直肠癌神经侵犯考虑是第三期或者第四期。出现神经侵犯，主要考虑是癌细胞已经出现转移以及扩散的情况。如果出现远端转移的话，患者可以通过口服药物的方式进行保守治疗。如果属于中期的病情，癌细胞扩散不严重的情况，可以考虑通过放疗以及化疗的方式，控制好癌细胞，同时改善好生活习惯。