Ein starkes Rittergeschlecht waren die Hansteiner, die niemanden neben sich und auch möglichst keinen Herrn über sich dulden wollten. Zudem zeigten sie keinen Respekt vor Leuten, die ihnen nicht genehm waren, ganz gleich, um wen es sich handelte. 

Einen Beweis ihres Hochmutes gibt es noch heute. Neben einem Tor ist der in Stein gehauene "Neidkopf" eingemauert. Das ist ein fratzenhaftes Menschengesicht, welches zum Ludwigstein hinüberschaut. Mit diesem Gesicht hat es folgende Bewandtnis: 

Am Fuß der Burg, unten im Tal der Werra, begann früher der Besitz der Landgrafen von Thüringen. Auch vor diesen hatten die Hansteiner keine große Achtung. Als Herren weiter Besitzungen ließen sie überall ihren Hochmut spüren. Zudem lag die Wartburg weit weg und eine schützende Veste hatten die Thüringer in diesem Teil ihrer Besitzungen nicht. So führten die Hansteiner viele ihrer Raubzüge in dieser Richtung aus. Im Jahre 1415 hielt es deshalb Landgraf Ludwig II. für angebracht, den Übermut der Hansteiner ein wenig zu dämpfen. Er ließ die Burg Ludwigstein erbauen, jenseits der Werra, dem Hanstein genau gegenüber. 

Die Hansteiner aber lachten über diese Burg, und um ihre Verachtung zu zeigen und die Ludwigsteiner zu verhöhnen, ließen sie den "Neidkopf", einen häßlichen Steinkopf mit herausgestreckter Zunge, in die Mauer des Burgtores einsetzen und zum Ludwigstein hinüberschauen.