A juh- és marhatenyésztés elterjedésével és fejlődésével párhuzamosan, a XVIII. század elejétől kezdve Európában különböző kutyatípusok kezdtek kialakulni, melyek a jószág mellett tevékenykedve óriási segítséget nyújtottak az embernek. A hűséges és szorgalmas terelő-, hajtó- és juhászkutyákat, elsősorban munkájuk alapján, három főbb csoportra lehet osztani. A nagyobb testű, erős kutyák nem a juhász parancsára tereltek, hanem önállóan, de megbízhatóan együtt vándoroltak a jószággal, állatot és embert egyaránt védelmezve ragadozóktól és tolvajoktól. A valamivel kisebb, de általában robusztus felépítésű, közepes méretű, hangos, temperamentumos hajtókutyák is önállóan dolgoztak, ugatva terelték vissza a nyájat a juhászhoz, miközben bozontos szőrzetük az időjárás minden viszontagságától megvédte őket. A juhászokat segítő négylábúak harmadik csoportjába a csöndben dolgozó, szemmel is terelő, könnyedebb felépítésű, általában felálló fülű juhászkutyák tartoznak. Ők alapvetően az ember parancsára dolgoztak, csendben, az állat megsebzése nélkül, a kívánt irányba terelték a jószágot. Miután a szabad juhászélet egyre több korlátba ütközött – a legelőket megművelték, szinte minden magántulajdonná vált –, a három csoport közül az utóbbi tagjai tudták a legkönnyebben hasznossá tenni magukat a megváltozott életkörülmények között is. Nagyon sok juhászkutya típusból később kiváló őrző-védő szolgálati kutya vált.

Hogy ezek az állófülű, könnyed mozgású, tanulékony ebek honnan, hogyan és mikor érkeztek Európába, természetesen nem tudjuk pontosan. A Földközi tenger keleti partjain, a legrégebbi juhtenyésztő kultúrákban már 3000–5000 évvel ezelőtt ismertek ilyen kutyákat, de mindeddig a legkorábbi, juhászkutyaszerű maradványokat Amerikában találták. Észak- és Dél-Amerikában egyaránt napvilágra kerültek 7000–9000 éves, ilyen típusú csontvázak.

A XIX. század végén még Németországban, Hollandiában, Belgiumban, Franciaországban, Magyarországon, stb. is voltak hatalmas juhnyájak így régiók, országok szerint különböző típusú juhászkutyák alakulhattak ki. A belga juhászok ekkoriban inkább kisebb testű, kb. 50–55 cm magas, könnyű, legfeljebb 20 kg súlyú, táplálkozás szempontjából igénytelen juhászkutyákat tartottak, melyek éber, temperamentumos, fáradhatatlan, állandóan mozgásban lévő négylábúak voltak.

Reggelente segítettek kiterelni az állatokat a legelőre, este pedig vissza a gazdaságba. A juhászok kutyáik küllemével nem sokat törődtek, az ebek munkakedve és munkakészsége volt számukra fontos, illetve a lehető legkisebb etetési költség. Kutyáik erős védőösztönnel rendelkeztek, így ha éppen nem tereltek, gazdájuk házát, udvarát őrizték. A családhoz erősen kötődtek, idegenekkel szemben bizalmatlanok és tartózkodóak voltak.

Fejformájuk az agarakéra és a farkaséra hasonlított. A juhászok egymás között gyakran cseréltek kölyköket, ezért a geográfiailag egymás mellett fekvő területeken viszonylag egyforma típusú állomány alakult ki. Belgiumban és Hollandiában finom, felálló fülű, legtöbbször sötét színű kutyák fordultak elő.

A nagy nyájak eltűnésével, a mezőgazdaság átalakulásával egyidőben, a modern kinológia figyelme szerencsére a nemzeti juhászkutyák felé fordult. A cureghemi Állatorvosi Intézet egyik professzora intenzíven tanulmányozta ezt a kutyatípust. 1891. november 15-én, a falu vágóhídjának udvarára egyfajta seregszemlét szervezett, összehívva a juhászkutyák tulajdonosait és kutyát, hogy felmérhesse a leendő nemzeti fajta pillanatnyi helyzetét. Reul professzor felhívására 117 kutyát mutattak be azon a napon. A hosszúszőrűek túlnyomórészt feketék voltak (ritkábban barnásvörösek vagy csíkosak), a rövidszőrűek barnák vagy bézs színűek, a durva, drótos szőrzetűek pedig nagyrészt szürkék.

A professzor három kívánatos típust határozott meg, az említett három szőrváltozatot, azzal a javaslattal, hogy színre való tekintet nélkül, az azonos szőrtípusú kutyákat párosítsák egymással. 1891-ben, Brüsszelben megalapították az első Belga Juhászkutya Klubot, egy évvel később pedig megfogalmazták az első hivatalos fajtaleírást is. Egy évvel később megszületett az első standard is, mely 55 centiméteres marmagasságot írt elő, a három szőrváltozat számára minden színt megengedett, a feketétől a vörösig, az általános illetve anatómiai leírás pedig hasonló volt a jelenlegihez. Később új fajtaleírást fogalmaztak, mely Reul professzor kívánsága ellenére csak a hosszú fekete, a rövid vörösesbarna és a durvaszőrű szürke variációkat engedélyezte. A kimaradt színváltozatok tulajdonosai joggal nehezményezték, hogy kutyáiakkal szinte egyik napról a másikra nem tenyészthettek, ezért újabb fajtaklubot alakítottak.

Mindkét szervezet saját törzskönyvet vezetett, mígnem 1904-ben közösen új, egységes klubot hoztak létre. Ezúttal az alábbi szín- és szőrváltozatokban egyeztek meg: a fekete, hosszúszőrű kutyákat groenendaelnek nevezték, a szintén hosszúszőrű, de barnásvörös példányokat tervuerennek, a rövid, barnásvörös egyedeket malinois-nak, a durvaszőrű, szürke vagy szintén barnásvörös kutyákat pedig laekennek. A négy változat Brüsszelhez közeli falvakról kapta nevét, mert akkoriban a legtöbb tenyésztő ebben a térségben tevékenykedett.

Groenendael-ben a Rose nevű kastélyfogadó tulajdonosa egy Beernaerts nevű juhtenyésztőtől szerzett egy fekete, hosszúszőrű kutyát, mely különösen jó terelőkészségével tűnt ki fajtársai közül, és küllemében is igencsak megfelelt Reul professzor elképzeléseinek. Rose-nak már volt néhány különböző színű, de ehhez a kanhoz hasonló típusú szukája, illetve egyikük, Petite szintén fekete volt. Rose mindegyik szukáját befedeztette Piccard-ral, majd a fekete páros utódait megint egymással pároztatta, így hamarosan homogén megjelenésű, nagyon szép típusú kutyákat hozott létre.

Különösen az 1893-ban született Duc de Groenendael vált ismertté, aki három nővérével – Baronne, Margot és Bergere –, illetve kan alomtestvérével – Pitt du Groenendael – együtt minden groenendal előfutárának számít. E vonal későbbi leszármazottai az 1906-os nagy párizsi kiállításról is győztes címekkel térhettek haza. E korszak másik híres tenyészkanja Pek Zwet volt, akit a már említett Picard d’Uccle egyik ükunokájával pároztattak, és ebben az alomban született a többszörös győztes Demon de I´Enfer. Duc és Margot 1898-ban részt vett egy brüsszeli kiállításon, ahol Reul bírálta őket, neki köszönhetjük a családfa feljegyzését.

Az első világháború és a német megszállás alatt nagyon sok jó tenyészkutya elpusztult, így évekig tartott, míg a háború után a megmaradt kutyákból újból minőségi állományt tudtak kialakítani. Csupán az 1930-as évekre duzzadt fel mennyiségileg is az állomány a kiállításokon; elsősorban groenendaeleket lehetett látni, melyek nagyobbak és erősebb csontozatúak voltak, mint a háború előtti egyedek, de elegáns megjelenésüket azért megőrizték.

1920. február 8-án, egy brüsszeli közgyűlésen a háború okozta veszteségek miatt könnyítettek a tenyésztési előírásokon, az 1905-ös helyzethez hasonlóan ismét minden színváltozatot engedélyeztek, a szürkét is, és a rövid- és hosszúszőrű egyedek pároztatását leszámítva, minden szín- és szőrváltozat keresztezését megengedték.

A várakozások ellenére azonban ez a határozat nem vezetett igazi megújuláshoz, a kiállításokon továbbra is szinte csak groenendaeleket és tervuereneket lehetett látni. 1929. október 22-én elismerték a fekete, rövidszőrű változatot is, sőt engedélyezték a fekete és barna malinois-kk keresztezését. A szürke és vörösesbarna egyedeknél a fekete maszk volt kívánatos. Ezidőtájt némileg nőtt a belga juhászkutyák mérete, a kanok 55–65, a szukák 52–60 cm magasak voltak.

A második világháború ismét óriási pusztítást végzett, a német megszállóak több mint 400 belga juhászkutyát szándékosan lemészároltak, ezért a háború után sokáig egyetlen tenyésztésre alkalmas malinois-t sem találtak.

Leginkább a groenendaelek jövője tűnt biztosítottnak, leginkább Binche falu körzetében voltak legaktívabbak a tenyésztők. Néhány tervuerent a francia határvidékről hoztak vissza, két laeken pedig Hollandiából érkezett vissza, így lassan újraindult minden szőrváltozat tenyésztése. 1945-ben új standard született, mely az 1920-as változatot követte: megtartottak minden korábbi színváltozatot, és megengedték a különböző változatok keresztezését.

A kívánatos méret kanoknál 62, szukáknál 58 centiméter volt (lefelé 2 cm, fölfelé 4 cm eltérést toleráltak.) 1966. január 1. óta az FCI négy CACIB cím kiadását engedélyezi a belga juhászkutyák számára, az alábbi szőrváltozatok számára: groenendael (fekete, hosszúszőrű), tervueren (egyéb hosszúszőrű, általában vörösesbarna, bézs, szürke), malinois (vörösesbarna, szürke, fekete, rövidszőrű), laeken vagy lakenois (vörösesbarna durvaszőrű). 1973 óta belgium mint fajtagazda ország, nem engedélyezi a négy szőrváltozat közötti keresztezést, csak kivételes esetben, a tenyésztési bizottság engedélyével, de az ilyen párosításokból származó utódokat csak a törzskönyv mellékletébe veszik fel, majd ezen kutyák leszármazottai csak három generáció után kerülhetnek vissza a rendes törzskönyvbe.