Dieser Straßenzug befindet sich im Inneren der Stadt. Vom eigentlichen Platz vor dem Grauen Hof führen schmale Gassen zur Hohen und zur Kurzen Straße. Diese Gassen gehörten bis 1875 zur Straße Über den Steinen. Sie schaffen auch heute noch einen Weg dorthin. Erst bei der Neuregelung der Hausnummern 1875 erhielt der Straßenzug den Namen „Am Grauen Hof“. Benannt wurde er nach dem dort befindlichen Grauen Hof. Der Graue oder auch der Graven Hof, stammt wahrscheinlich aus dem neunten Jahrhundert. Die erste urkundliche Erwähnung dieses Hofes stammt vom 24. August 1309. Nach E. Ernst soll sich dort die Termenei der Halberstädter Pauliner-Mönche befunden haben, wo sie auf ihren Bettelgängen übernachteten. Der Graue Hof selbst war ein gräflicher Wirtschaftshof. Der letzte Ascherslebener Graf, Otto II. übereignete ihn 1309 an das Michaelsteiner Kloster bei Blankenburg. Zu dem Hof gehörte auch ein Landbesitz. Er wurde lange Zeit von der Stadt gepachtet. Im Jahre 1747 erwarb ihn die Stadt dann endgültig. Ein Teil des Gebäudes wurde 1830 zum Stadtgefängnis ausgebaut und diente diesem Zweck bis 1933. Bis Kriegsende war es der Gestapo Magdeburg unterstellt. Im Jahr 1945 fiel das Stadtgefängnis an die Rote Armee. Seit 1953 befindet sich dort das Stadtarchiv.