非婚生子女的父亲是可以要回孩子的。

1.与子女共同生活的一方不履行抚养义务或虐待子女，或与子女共同生活对子女身心健康有不利影响的。

2.与子女共同生活的一方因严重疾病或残疾无法继续抚养子女。

3.八岁以上未成年子女，愿与对方生活，另一方有抚养能力。

4.根据《中华人民共和国民法典》第一千零七十一条 非婚生子女享有与婚生子女同等的权利，任何组织或者个人不得加以危害和歧视。不直接抚养非婚生子女的生父或者生母，应当负担未成年子女或者不能独立生活的成年子女的抚养费。

5.第一千零八十四条父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。

离婚后，父母对于子女仍有抚养、教育、保护的权利和义务。

离婚后，不满两周岁的子女，以由母亲直接抚养为原则。已满两周岁的子女，父母双方对抚养问题协议不成的，由人民法院根据双方的具体情况，按照最有利于未成年子女的原则判决。子女已满八周岁的，应当尊重其真实意愿。