An der Gründungsversammlung nahmen der Initiator Professor Albert Krebs, Professor Dr. Rudolf Sieverts, Universität Hamburg und MD Cortes vom Bundesjustizministerium, der sich in der Vereinigung einen Gesprächspartner zum Erfahrungsaustausch erhoffte, teil. Auch die Landesjustizverwaltungen hatten zur Gründungsversammlung zustimmende Grußworte und Glückwünsche übersandt.
Gemäß der Satzung gibt es unverändert einen engeren und einen erweiterten Vorstand. Zum engeren Vorstand gehören der 1. Vorsitzende und zwei weitere stellvertretende Vorsitzende sowie eine Schriftführerin oder ein Schriftführer und eine Schatzmeisterin oder ein Schatzmeister. Der erweiterte Vorstand setzt sich aus jeweils einer Vertreterin oder einem Vertreter aus den 16 Bundesländern zusammen. Beginnend mit Dr. Gerhard Nagel, der 15 Jahre lang der Vorsitzende war und die Bundesvereinigung maßgeblich geprägt hat, folgten im Vorsitz Dr. h.c. Harald Preusker, Dr. Dieter Bandell, Klaus Winchenbach, Wolfgang Fixson, Winfried Schmalzbauer und seit 2015 der jetzige Vorsitzende Rolf Jacob, Leiter der JVA Leipzig mit Krankenhaus. Die Ehrenmitgliedschaft wurde bisher Professor Albert Krebs, Dr. Paul Kühling, Dr. Rolf Herrfahrdt und Josef Paitner verliehen.
Von Professor Albert Krebs wurde die Gründung der Bundesvereinigung der Anstaltsleiter angeregt. 1970 wurde dazu ein vorbereitender Ausschuss mit den Anstaltsleitern Dr. Dieter Bandell – Diez/Lahn, Wilhelm Buhr – Saarbrücken, Ernst Greif – Lübeck und Dr. Gerhard Nagel – Ulm gebildet und durch diesen eine Satzung erarbeitet. In der Folge der vielen zahlreichen positiven Rückmeldungen wurde am 19./20. März 1971 in Bad Godesberg die Bundesvereinigung ins Leben gerufen. Der Leiter der Gründungsversammlung war Dr. Nagel.
Gemäß § 2 der Satzung ist es Aufgabe und Ziel der Bundesvereinigung, länderübergreifend einen gegenseitigen Erfahrungsaustausch zu ermöglichen und Anregungen bzw. Lösungsvorschläge für die Weiterentwicklung des Justizvollzuges in Deutschland und in Europa zu erarbeiten. Diesem Ziel dienen die jährlichen Aus- und Fortbildungstagungen, internationale Studienreisen und internationale Tagungen in anderen Ländern sowie Tagungen mit anderen Berufsgruppen im Justizvollzug.
Die Vorträge und sonstigen Beiträge oder Aufsätze wurden zunächst in Tagungsdokumentationen bis 1990 von Dr. Paul Kühling, dann von verschiedenen Mitgliedern der Bundesvereinigung und ab 1994 von Dr. Rolf Herrfahrdt herausgegeben. Ab 1998 wurde eine Schriftenreihe der Bundesvereinigung gegründet (ISBN 3-9806899-1-9), dessen Herausgeber Dr. Rolf Herrfahrdt war.
Die Bundesvereinigung steht in kontinuierlicher Verbindung zur Justizvollzugsabteilung des Bundesjustizministeriums und zu den Länderministerien. Die Mitgliederzahl der Bundesvereinigung stieg von 32 im Gründungsjahr 1971 bis zum gegenwärtigen Zeitpunkt auf ca. 300 Anstaltsleiterinnen und Anstaltsleiter sowie leitende Führungskräfte des Justizvollzugs an.
Auf Anregung von Dirk Helias wurde 1979 auf der Tagung in Schwerte ein Ausschuss zur Erarbeitung eines Gesetzesentwurfes zum Untersuchungshaftvollzug gegründet. Vorsitzender war Dr. Gerhard Nagel. Nach dem Tod von Dr. Gerhard Nagel übernahm 1986 den Vorsitz Dr. Rolf Herrfahrdt und der Ausschuss wurde in Arbeitskreis Recht umbenannt. Der Arbeitskreis Recht erarbeitet Stellungnahmen zu Gesetzesentwürfen und Gesetzesvorschläge sowie Thesen zu Einzelthemen des Justizvollzuges. Dem langjährigen Vorsitzenden des Arbeitskreises Dr. Rolf Herrfahrdt folgte im Jahr 2017 Thomas Müller, Leiter der JVA Karlsruhe. Mitglieder des Arbeitskreises wurden und werden u.a. vom Bundesverfassungsgericht oder bei den Länderparlamenten zu Grundsatzfragen des Justizvollzuges angehört.