En 1986 se desempeñó como Secretario de Integración Popular y Director del Plan Nacional de Rehabilitación (PNR) durante el Gobierno del Presidente Virgilio Barco. Allí estableció políticas sociales que generaron desarrollo en cientos de municipios del todo el país, priorizando aquellos más afectados por la violencia. 

    Desde 1988 hasta 1990, en calidad de Consejero de Paz, encabezó la desmovilización del M-19 y otras guerrillas que tuvieron representación en la Asamblea Nacional Constituyente que redactó la Constitución de 1991.

    Desde 1991 hasta 1994 Rafael Pardo fue el primer Ministro de Defensa civil que tuvo el país después de cuatro décadas de ser un cargo ocupado por militares. En su gestión ministerial implementó la capacitación a los militares en materia de derechos humanos y promovió la adopción de los acuerdos de Ginebra sobre el Derecho Internacional Humanitario, al tiempo que creó el Bloque de Búsqueda para luchar contra los carteles de la droga. 

    En el periodo de 1996-1997 se desempeñó como asesor de César Gaviria en su gestión como Secretario de la Organización de Estados Americanos (OEA), en Washington. 

    Desde 2002 hasta 2006, Pardo fue elegido como Senador de la República y se distinguió como uno de los mejores senadores por la seriedad de sus propuestas y de sus debates de control político.  

    A finales de 2009, el Congreso Nacional Liberal lo proclamó como nuevo Director del Partido Liberal Colombiano, tras haber ganado la consulta interna que lo eligió como candidato de esa colectividad para las elecciones de mayo de 2010.

    En Octubre del 2011 Pardo se posesionó como Ministro de Trabajo bajo el gobierno de Juan Manuel Santos. Durante de su gestión se destacaron proyectos de capacitación de víctimas del conflicto armado, la modalidad de Teletrabajo como motor generador de empleo; la Ley del Primer Empleo y Colombia Mayor.