Bien qu'il soit un grand joueur, Rexach a passé sa meilleure étape blaugrana sur le banc, accompagnant d'abord Luis Aragonés (1987-1988) puis Johan Cruyff (1988-1996). Avec le premier, qu'il a remplacé pendant certains matches, il a remporté la Coupe du Roi contre la Real Sociedad de Saint-Sébastien (1-0), et avec Johan il a remporté une grande quantité de titres, parmi lesquels les 4 Ligas consécutives et la précieuse Coupe d'Europe. Il a également remplacé le hollandais pendant sa malheureuse absence, à cause de l'opération à cœur ouvert à laquelle il a été soumis. Parmi les matches qui ont laissé le meilleur souvenir aux supporters barcelonistes pendant l'époque à laquelle il a dirigé de manière circonstancielle l'équipe, il faut surtout citer l'incroyable 0-6 à Bilbao, match au cours duquel les blaugranas ont humilié ceux de Javier Clemente. Plus tard, en 1996, et dans des circonstances totalement différentes, Rexach a remplacé Cruyff qui venait d'être démis.

À la fin de la saison 2000-2001, Charly s'est à nouveau occupé de l'équipe quand le Conseil de direction a décidé de démettre l'entraîneur qui avait commencé la saison, Llorenç Serra Ferrer. Cette année-là, il a réussi à qualifier l'équipe pour l'édition suivante de la Ligue des Champions, après avoir gagné face à Valencia lors du dernier match de Liga, grâce à un but spectaculaire in extremis de Rivaldo. Lors de la saison suivante, 2001-2002, Carles Rexach a à nouveau classé l'équipe parmi les quatre premières de la Liga et il est resté aux portes de la finale de la Ligue des Champions, après l'élimination en demi-finale contre le Real Madrid.

Avec le début de la seconde étape de Louis van Gaal (2002-03), Carles Rexach a abandonné sa responsabilité au front de la première équipe et il est devenu secrétaire technique du FC Barcelone, une fonction exercée jusqu'au 30 juin 2003.