建筑红线是指城市规划中确定的建筑物边界线，其内部为建筑用地，外部为非建筑用地。那么，在建筑红线以内的土地应该归哪里管理呢？

首先，建筑红线的划定是由城市规划部门负责的，因此建筑红线以内的土地管理主体应当是城市规划部门。城市规划部门应当对建筑红线以内的土地进行合理规划，确保土地的合理利用和城市的可持续发展。

其次，建筑红线以内的土地在建设和使用过程中需要获得相关的建设和使用许可证，因此在建设和使用过程中需要遵守相关的法律法规和规章制度。这些法律法规和规章制度由城市管理部门负责执行，因此城市管理部门也应当参与建筑红线以内土地的管理。

最后，建筑红线以内的土地与周边环境密切相关，因此还需要考虑环保、公共安全等方面的问题。这些问题的解决需要涉及多个部门，如环保部门、公安部门等，因此在建筑红线以内的土地管理过程中，这些部门也应当发挥作用。

综上所述，建筑红线以内的土地管理应当由城市规划部门、城市管理部门、环保部门、公安部门等多个部门共同参与，确保土地的合理利用和城市的可持续发展。