Op de eerste verdieping werden gevangen opgesloten tot zij berecht konden worden. Naast lokale mensen werden ook kapers opgesloten in het Gravensteen. Sommige gevangenen hebben inscripties achtergelaten in de zware houten wanden. Hier spreken de eeuwen met namen, jaartallen, tekeningen van schepen, mensen, vlaggen en zelfs een tekening van een pauw. Veel inscripties verwijzen naar het maritieme karakter van Zierikzee als handelsstad.
Inscriptie van een gevangene in de eikenhouten wanden van de gevangenis.
...
Er zijn inscripties achtergelaten op de eikenhouten wanden van het Gravensteen van Duinkerker kapers die gevangen hebben gezeten in Zierikzee. Het verschil tussen kapers en piraten was dat kapers schriftelijke toestemming hadden, een zogenoemde kaperbrief, om schepen van een andere partij te enteren en over te nemen inclusief bemanning en lading. De kapers moesten in ruil voor hun kaperbrief een deel van de buit afstaan aan de heer voor wie zij kaapten. Engelse kapers droegen bijvoorbeeld buit af aan de kroon van Engeland. Piraten hadden geen kaperbrief dus zij werden gezien als misdadigers. Kaperschepen waren over het algemeen geen grote schepen zoals we die vanuit piraten films kennen. Kleinere schepen zoals schoeners waren wendbaar en snel. Zo konden kapers ontsnappen aan de marineschepen van de landen waar zij in oorlog mee waren. Schepen werden regelmatig gekaapt vanwege hun lading en het schip zelf was uiteraard ook een belangrijke buit. De kapitein en zijn stuurlui konden echter ook een bron van inkomsten voor bijvoorbeeld Zierikzee zijn.
De officieren aan boord waren namelijk soms waardevol genoeg om uit te wisselen met een tegenpartij, hetzij voor geld of voor andere gevangenen. De officieren konden vaak lezen en schrijven en zij kenden de vaarwegen en zee goed door jarenlange ervaring op het water. Er werd ook vanuit onder andere Zierikzee gekaapt dus het gebeurde regelmatig dat gevangenen werden vastgezet in het Gravensteen in afwachting van uitwisseling.
Een verblijf in het Gravensteen was geen pretje, er was vrijwel geen comfort. Bedden en stoelen hadden de gevangenen niet, mogelijk hadden zij wel stro om op te slapen. Hygiënesteekpenningen konden worden betaald om gevangenen betere behandeling en extra eten te verkrijgen, maar bijvoorbeeld hygiëne was niet of nauwelijks aanwezig. Duinkerker kaperkapitein Mattheus Rombouts die werd gevangen en opgesloten in het Gravensteen omschreef het heel duidelijk, vrij vertaald: “De duivel moet diegene halen die ons naar het Gravensteen stuurde”.
Oosterrijkse soldaatjes geschilders op de eikenhouten wand van de gevangenis.
