このころ西遠には、南部に三河吉良氏の代官大河内氏が浜松荘に勢力をもち、北部に斯波氏の代官は井伊氏と結んでいた。中遠には狩野氏、東遠に勝間田・横地、北遠に天野氏などの昔からの豪族があり、遠江はこれらの人々によって分割されていた。その間に貴族や社寺の荘園も入りまじり、所領関係は複雑であった。