I hans ungdom blev der engang året 1571 fremført hårde beskyldninger imod ham af den Poul Hansen, Rådmand Hans Jensens søn, som 2 år senere blev dræbt af Peder Baggesens tilkommende svoger Anders Sørensen Klyne.

Den sidste mandag i April måned tog Peder Baggesen i anledning af disse beskyldninger et tingsvidne om, at han “ikke selv klippede og forvexlede eller lod klippe og forfalske” nogen af sin Faders eller sine egne oxner, efter han først havde solgt dem. Stædig retfærdiggjorde hans opførsel på en rejse med stude til Hamborg og ved en handel med en mand i Nimwegen. Samme dag gav først 24 mænd og derpå “alle de Købmænd, som havde været på Rejse i Tyskland og andre Lande”, ham det skudsmål, at de ikke vidste andet end godt om ham. Nogle dage senere fordeler Peder Baggesen sin modstander for den “ubevislige snak”, som han havde påsagt ham.

Poul Hansen indstævner uden nytte denne dom for en højere domstol. Ligeså uheldig var han med en beskyldning, som han kort efter fremførte mod Bagge Jensen om, at han skulle have forseglet et falsk brev med Byens sejl. Poul Hansen var en trættesyg og upålidelig person, hvis ord ikke var til at stole på.

De blev trolovet 15. Oktober 1571, og ved hans giftermål med Borgmester Søren Jakobsens Stages datter blev han svoger til den kongelige Historiograf M. Hans Svanning, til Biskop Poul Madsen og den til ovennævnte Anders Sørensen Klyne, alle fra Ribe.

Han blev rådmand i Ribe 1581 og en meget rig mand. Allerede året efter Faderens død, blev han beskattet med 18 Mark, det var dengang den højeste skat i byen. 10 år senere var den steget til 27 Mark, den næsthøjeste betalte hans svoger Anders Sørensen.

Han boede på det vestlige hjørne af Storegade og Sortebrødregade.

I slutningen af sit liv byggede han den anselige, endnu bevarede gård på hjørnet af Torvet og Stenbogade, som efter hans svigersøn M. Mads Pors fik navnet Porsborg. Rimeligvis har det været hans hensigt selv at bo der, men dette forhindrede hans tidlige død.

Peder Baggesens enke giftede sig efter hans død igen 1593 med rådmand Bertel Struch i Ribe og stiftede på sit dødsleje 1602 de såkaldte Almisseboder i Ribe.