source: devel/pb/lib/ProjectBuilder/Base.pm @ 112

Revision 112, 13.0 KB checked in by bruno, 6 years ago (diff)

SImplification on hash management

  • Property svn:executable set to *
Line 
1#!/usr/bin/perl -w
2#
3# Base subroutines for the Project-Builder project
4#
5# $Id$
6#
7
8use strict;
9use lib qw (lib);
10use File::Basename;
11use File::Path;
12use File::Temp qw /tempdir/;
13use AppConfig qw(ARGCOUNT_HASH);
14use Data::Dumper;
15
16$ENV{'PBETC'} = "$ENV{'HOME'}/.pbrc";
17
18sub pb_env_init {
19
20my $proj=shift;
21my $ver;
22my $tag;
23
24# For the moment not dynamic
25my $debug = 0;                                  # Debug level
26my $LOG = *STDOUT;                              # Where to log
27
28#
29# Check project name
30# Could be with env var PBPROJ
31# or option -p
32# if not define take the first in conf file
33#
34if ((defined $ENV{'PBPROJ'}) &&
35        (not (defined $proj))) {
36        $proj = $ENV{'PBPROJ'};
37}
38
39#
40# We get the pbrc file for that project
41# and use its content
42#
43my ($pbrc) = pb_conf_read("$ENV{'PBETC'}","pbrc");
44print "DEBUG pbrc: ".Dumper($pbrc)."\n" if ($debug >= 1);
45
46my %pbrc = %$pbrc;
47if (not defined $proj) {
48        # Take the first as the default project
49        $proj = (keys %pbrc)[0];
50        print $LOG "Using $proj as default project as none has been specified\n" if (($debug >= 0) and (defined $proj));
51}
52die "No project defined - use env var PBPROJ or -p proj" if (not (defined $proj));
53
54#
55# Set delivery directory
56#
57my $topdir=dirname($pbrc{$proj});
58# Expand potential env variable in it
59eval { $topdir =~ s/(\$ENV.+\})/$1/eeg };
60chdir $topdir || die "Unable to change directory to $topdir";
61$pbrc{$proj} = $topdir."/pbrc";
62$ENV{'PBDESTDIR'}=$topdir."/delivery";
63
64#
65# Use project configuration file if needed
66#
67if (not defined $ENV{'PBROOT'}) {
68        if (-f $pbrc{$proj}) {
69                my ($pbroot) = pb_conf_read($pbrc{$proj},"pbroot");
70                my %pbroot = %$pbroot;
71                # All lines should point to the same pbroot so take the first
72                $ENV{'PBROOT'} = (values %$pbroot)[0] if (defined $pbroot); 
73                print $LOG "Using $ENV{'PBROOT'} as default pbroot from $pbrc{$proj}\n" if (($debug >= 0) and (defined $ENV{'PBROOT'}));
74        }
75        die "No pbroot defined - use env var PBROOT or -r pbroot " if (not defined $ENV{'PBROOT'});
76}
77
78#
79# Check pb conf compliance
80#
81$ENV{'PBCONF'} = "$ENV{'PBROOT'}/pbconf";
82die "Project $proj not Project-Builder compliant. Please populate $ENV{'PBCONF'}" if ( not -d "$ENV{'PBCONF'}");
83
84my %version = ();
85my %defpkgdir = ();
86my %extpkgdir = ();
87my %filteredfiles = ();
88
89if (-f "$ENV{'PBCONF'}/$proj.pb") {
90        # List of pkg to build by default (mandatory)
91        # List of additional pkg to build when all is called (optional)
92        # Valid version names (optional)
93        # List of files to filter (optional)
94        my ($defpkgdir, $extpkgdir, $version, $filteredfiles, $pkgv, $pkgt) = pb_conf_read("$ENV{'PBCONF'}/$proj.pb","defpkgdir","extpkgdir","version","filteredfiles","projver","projtag");
95        print "DEBUG: defpkgdir: ".Dumper($defpkgdir)."\n" if ($debug >= 1);
96        print "DEBUG: extpkgdir: ".Dumper($extpkgdir)."\n" if ($debug >= 1);
97        print "DEBUG: version: ".Dumper($version)."\n" if ($debug >= 1);
98        print "DEBUG: filteredfiles: ".Dumper($filteredfiles)."\n" if ($debug >= 1);
99        die "Unable to find defpkgdir in $ENV{'PBCONF'}/$proj.pb" if (not defined $defpkgdir);
100        # Global
101        %defpkgdir = %$defpkgdir;
102        # Global
103        %extpkgdir = %$defpkgdir if (defined $defpkgdir);
104        %version = %$version if (defined $version);
105        # Global
106        %filteredfiles = %$filteredfiles if (defined $filteredfiles);
107        #
108        # Get global Version/Tag
109        #
110
111        if (not defined $ENV{'PBVER'}) {
112                if ((defined $pkgv) && (defined $pkgv->{$proj})) {
113                        $ENV{'PBVER'}=$pkgv->{$proj};
114                } else {
115                        die "No projver found in $ENV{'PBCONF'}/$proj.pb";
116                }
117        }
118        die "Invalid version name $ENV{'PBVER'} in $ENV{'PBCONF'}/$proj.pb" if (($ENV{'PBVER'} !~ /[0-9.]+/) && (not exists $version{$ENV{'PBVER'}}));
119       
120        if (not defined $ENV{'PBTAG'}) {
121                if ((defined $pkgt) && (defined $pkgt->{$proj})) {
122                        $ENV{'PBTAG'}=$pkgt->{$proj};
123                } else {
124                        die "No projtag found in $ENV{'PBCONF'}/$proj.pb";
125                }
126        }
127        die "Invalid tag name $ENV{'PBTAG'} in $ENV{'PBCONF'}/$proj.pb" if ($ENV{'PBTAG'} !~ /[0-9.]+/);
128} else {
129        die "Unable to open $ENV{'PBCONF'}/$proj.pb";
130}
131
132#
133# Set temp directory
134#
135if (not defined $ENV{'TMPDIR'}) {
136        $ENV{'TMPDIR'}="/tmp";
137}
138$ENV{'PBTMP'} = tempdir( "pb.XXXXXXXXXX", DIR => $ENV{'TMPDIR'}, CLEANUP => 1 );
139
140#
141# Removes all directory existing below the delivery dir
142# as they are temp dir only
143# Files stay and have to be cleaned up manually
144#
145if (-d $ENV{'PBDESTDIR'}) {
146        opendir(DIR,$ENV{'PBDESTDIR'}) || die "Unable to open directory $ENV{'PBDESTDIR'}: $!";
147        foreach my $d (readdir(DIR)) {
148                next if ($d =~ /^\./);
149                next if (-f "$ENV{'PBDESTDIR'}/$d");
150                pb_rm_rf("$ENV{'PBDESTDIR'}/$d") if (-d "$ENV{'PBDESTDIR'}/$d");
151        }
152        closedir(DIR);
153}
154if (! -d "$ENV{'PBDESTDIR'}") {
155        pb_mkdir_p($ENV{'PBDESTDIR'}) || die "Unable to recursively create $ENV{'PBDESTDIR'}";
156}
157
158#
159# Set build directory
160#
161$ENV{'PBBUILDDIR'}=$topdir."/build";
162if (! -d "$ENV{'PBBUILDDIR'}") {
163        pb_mkdir_p($ENV{'PBBUILDDIR'}) || die "Unable to recursively create $ENV{'PBBUILDDIR'}";
164}
165
166umask 0022;
167return($proj,$debug,$LOG,\%pbrc, \%filteredfiles, \%defpkgdir, \%extpkgdir);
168}
169
170# Internal mkdir -p function
171sub pb_mkdir_p {
172my @dir = @_;
173my $ret = mkpath(@dir, 0, 0755);
174return($ret);
175}
176
177# Internal rm -rf function
178sub pb_rm_rf {
179my @dir = @_;
180my $ret = rmtree(@dir, 0, 0);
181return($ret);
182}
183
184# Internal system function
185sub pb_system {
186
187my $cmd=shift;
188my $cmt=shift || $cmd;
189
190print "$cmt... ";
191system("$cmd 2>&1 > $ENV{'PBTMP'}/system.log");
192if ($? == -1) {
193        print "failed to execute ($cmd) : $!\n";
194        pb_display_file("$ENV{'PBTMP'}/system.log");
195} elsif ($? & 127) {
196        printf "child ($cmd) died with signal %d, %s coredump\n", ($? & 127),  ($? & 128) ? 'with' : 'without';
197        pb_display_file("$ENV{'PBTMP'}/system.log");
198} elsif ($? == 0) {
199        print "OK\n";
200} else {
201        printf "child ($cmd) exited with value %d\n", $? >> 8;
202        pb_display_file("$ENV{'PBTMP'}/system.log");
203}
204}
205
206sub pb_display_file {
207
208my $file=shift;
209
210open(FILE,"$file") || die "Unable to open $file";
211while (<FILE>) {
212        print $_;
213}
214close(FILE);
215}
216
217# Function which returns a pointer on a hash
218# corresponding to a declaration (arg2) in the main conf file
219# and test the returned vaue as they need to exist in that case
220sub pb_conf_get {
221
222my @param = @_;
223
224my @ptr = pb_conf_read("$ENV{'PBETC'}", @param);
225
226foreach my $i (0..$#param) {
227        die "No $param[$i] defined for $ENV{'PBPROJ'}" if (not defined $ptr[$i]);
228        my $p = $ptr[$i];
229        $p->{$ENV{'PBPROJ'}} = $p->{'default'} if (not defined $p->{$ENV{'PBPROJ'}});
230        die "No $param[$i] defined for $ENV{'PBPROJ'}" if (not defined $p->{$ENV{'PBPROJ'}});
231}
232#print "DEBUG: param: ".Dumper(@ptr)."\n" if ($debug >= 1);
233return(@ptr);
234}
235
236# Function which returns a pointer on a hash
237# corresponding to a declaration (arg2) in a conf file (arg1)
238sub pb_conf_read {
239
240my $conffile = shift;
241my @param = @_;
242my $trace;
243my @ptr;
244
245my $debug = 0;
246
247if ($debug > 0) {
248        $trace = 1;
249} else {
250        $trace = 0;
251}
252
253
254my $config = AppConfig->new({
255                                                        # Auto Create variables mentioned in Conf file
256                                                        CREATE => 1,
257                                                        DEBUG => $trace,
258                                                        GLOBAL => {
259                                                                # Each conf item is a hash
260                                                                ARGCOUNT => ARGCOUNT_HASH,
261                                                        },
262                                                });
263$config->file($conffile);
264for my $param (@param) {
265        push @ptr,$config->get($param);
266}
267print "DEBUG: params: ".Dumper(@param)." ".Dumper(@ptr)."\n" if ($debug >= 1);
268return(@ptr);
269}
270
271# Setup environment for CMS system
272sub pb_cms_init {
273
274my $proj = shift || undef;
275my $ret;
276
277my ($cms) = pb_conf_get("cms");
278# This one is optional
279my ($cvsroot,$cvsrsh) = pb_conf_read($ENV{'PBETC'},"cvsroot","cvsrsh");
280
281if ($cms->{$proj} eq "svn") {
282        $ENV{'PBREVISION'}=`(cd "$ENV{'PBROOT'}" ; svnversion .)`;
283        chomp($ENV{'PBREVISION'});
284        $ENV{'PBCMSLOG'}="svn log";
285        $ENV{'PBCMSLOGFILE'}="svn.log";
286} elsif ($cms->{$proj} eq "cvs") {
287        # Way too slow
288        #$ENV{'PBREVISION'}=`(cd "$ENV{'PBROOT'}" ; cvs rannotate  -f . 2>&1 | awk '{print \$1}' | grep -E '^[0-9]' | cut -d. -f2 |sort -nu | tail -1)`;
289        #chomp($ENV{'PBREVISION'});
290        $ENV{'PBREVISION'}="CVS";
291        $ENV{'PBCMSLOG'}="cvs log";
292        $ENV{'PBCMSLOGFILE'}="cvs.log";
293        #
294        # Export content if needed
295        #
296        $ENV{'CVSROOT'} = $cvsroot->{$proj} if (defined $cvsroot->{$proj});
297        $ENV{'CVSRSH'} = $cvsrsh->{$proj} if (defined $cvsrsh->{$proj});
298} else {
299        die "cms $cms->{$proj} unknown";
300}
301return($cms);
302}
303
304sub pb_cms_export {
305my $cms = shift;
306my $pbdate = shift || undef;
307my $source = shift;
308my $destdir = shift;
309my $tmp;
310
311if ($cms->{$ENV{'PBPROJ'}} eq "svn") {
312        if (-d $source) {
313                $tmp = $destdir;
314        } else {
315                $tmp = $destdir."/".basename($source);
316        }
317        pb_system("svn export $source $tmp","Exporting $source fr\"om SVN to $tmp");
318} elsif ($cms->{$ENV{'PBPROJ'}} eq "cvs") {
319        my $dir=dirname($destdir);
320        my $base=basename($destdir);
321        # Doesn't work if called from outside with a full path name to a file/dir to export
322        $tmp=basename($source);
323        # CVS needs a relative path !
324        pb_system("cd $dir ; cvs export -D \"$pbdate\" -d $base $tmp","Exporting $source from CVS to $destdir");
325} else {
326        die "cms $cms->{$ENV{'PBPROJ'}} unknown";
327}
328}
329
330sub pb_cms_log {
331my $cms = shift;
332my $pkgdir = shift;
333my $destfile = shift;
334
335if ($cms->{$ENV{'PBPROJ'}} eq "svn") {
336        pb_system("svn log -v $pkgdir > $destfile","Extracting log info from SVN");
337} elsif ($cms->{$ENV{'PBPROJ'}} eq "cvs") {
338        my $tmp=basename($pkgdir);
339        # CVS needs a relative path !
340        pb_system("cvs log $tmp > $destfile","Extracting log info from CVS");
341} else {
342        die "cms $cms->{$ENV{'PBPROJ'}} unknown";
343}
344}
345       
346
347
348# Get all filters to apply
349# They're cumulative from less specific to most specific
350# suffix is .pbf
351
352sub pb_get_filters {
353
354# For the moment not dynamic
355my $debug = 0;                                  # Debug level
356my $LOG = *STDOUT;                              # Where to log
357
358my @ffiles;
359my ($ffile0, $ffile1, $ffile2, $ffile3);
360my $pbpkg = shift || die "No package specified";
361my $dtype = shift || die "No dtype specified";
362my $dfam = shift || die "No dfam specified";
363my $ddir = shift || die "No ddir specified";
364my $dver = shift || die "No dver specified";
365my $ptr; # returned value pointer on the hash of filters
366my %ptr;
367
368if (-d "$ENV{'PBCONF'}/$pbpkg/pbfilter") {
369        $ffile0 = "$ENV{'PBCONF'}/$pbpkg/pbfilter/$dtype.pbf" if (-f "$ENV{'PBCONF'}/$pbpkg/pbfilter/$dtype.pbf");
370        $ffile1 = "$ENV{'PBCONF'}/$pbpkg/pbfilter/$dfam.pbf" if (-f "$ENV{'PBCONF'}/$pbpkg/pbfilter/$dfam.pbf");
371        $ffile2 = "$ENV{'PBCONF'}/$pbpkg/pbfilter/$ddir.pbf" if (-f "$ENV{'PBCONF'}/$pbpkg/pbfilter/$ddir.pbf");
372        $ffile3 = "$ENV{'PBCONF'}/$pbpkg/pbfilter/$ddir-$dver.pbf" if (-f "$ENV{'PBCONF'}/$pbpkg/pbfilter/$ddir-$dver.pbf");
373
374        push @ffiles,$ffile0 if (defined $ffile0);
375        push @ffiles,$ffile1 if (defined $ffile1);
376        push @ffiles,$ffile2 if (defined $ffile2);
377        push @ffiles,$ffile3 if (defined $ffile3);
378}
379if (@ffiles) {
380        print $LOG "DEBUG ffiles: ".Dumper(\@ffiles)."\n" if ($debug >= 1);
381
382        my $config = AppConfig->new({
383                # Auto Create variables mentioned in Conf file
384                CREATE => 1,
385                DEBUG => 0,
386                GLOBAL => {
387                        # Each conf item is a hash
388                        ARGCOUNT => AppConfig::ARGCOUNT_HASH
389                }
390        });
391
392        $config->file(@ffiles);
393        $ptr = $config->get("filter");
394        print $LOG "DEBUG f:".Dumper($ptr)."\n" if ($debug >= 1);
395} else {
396        $ptr = { };
397}
398%ptr = %$ptr;
399return(\%ptr);
400}
401
402# Function which applies filter on files (only for pb)
403sub pb_filter_file_pb {
404
405my $f=shift;
406my $ptr=shift;
407my %filter=%$ptr;
408my $destfile=shift;
409my $dtype=shift;
410my $pbsuf=shift;
411my $pbpkg=shift;
412my $pbver=shift;
413my $pbtag=shift;
414my $pbrev=shift;
415my $pbdate=shift;
416my $defpkgdir = shift;
417my $extpkgdir = shift;
418
419# For the moment not dynamic
420my $debug = 0;                                  # Debug level
421my $LOG = *STDOUT;                              # Where to log
422
423print $LOG "DEBUG: From $f to $destfile\n" if ($debug >= 1);
424pb_mkdir_p(dirname($destfile)) if (! -d dirname($destfile));
425open(DEST,"> $destfile") || die "Unable to create $destfile";
426open(FILE,"$f") || die "Unable to open $f: $!";
427while (<FILE>) {
428        my $line = $_;
429        foreach my $s (keys %filter) {
430                # Process single variables
431                print $LOG "DEBUG filter{$s}: $filter{$s}\n" if ($debug >= 1);
432                my $tmp = $filter{$s};
433                next if (not defined $tmp);
434                # Expand variables if any single one found
435                print $LOG "DEBUG tmp: $tmp\n" if ($debug >= 1);
436                if ($tmp =~ /\$/) {
437                        eval { $tmp =~ s/(\$\w+)/$1/eeg };
438                # special case for ChangeLog only for pb
439                } elsif (($tmp =~ /^yes$/) && ($s =~ /^PBLOG$/) && ($line =~ /^PBLOG$/)) {
440                        $tmp = "";
441                        my $p = $defpkgdir->{$pbpkg};
442                        $p = $extpkgdir->{$pbpkg} if (not defined $p);
443                        pb_changelog($dtype, $pbpkg, $pbtag, $pbsuf, $p, \*DEST);
444                }
445                $line =~ s|$s|$tmp|;
446        }
447        print DEST $line;
448}
449close(FILE);
450close(DEST);
451}
452
453# Function which applies filter on files (external call)
454sub pb_filter_file {
455
456my $f=shift;
457my $ptr=shift;
458my %filter=%$ptr;
459my $destfile=shift;
460my $pbsuf=shift;
461my $pbpkg=shift;
462my $pbver=shift;
463my $pbtag=shift;
464my $pbrev=shift;
465my $pbdate=shift;
466
467# For the moment not dynamic
468my $debug = 0;                                  # Debug level
469my $LOG = *STDOUT;                              # Where to log
470
471print $LOG "DEBUG: From $f to $destfile\n" if ($debug >= 1);
472pb_mkdir_p(dirname($destfile)) if (! -d dirname($destfile));
473open(DEST,"> $destfile") || die "Unable to create $destfile";
474open(FILE,"$f") || die "Unable to open $f: $!";
475while (<FILE>) {
476        my $line = $_;
477        foreach my $s (keys %filter) {
478                # Process single variables
479                print $LOG "DEBUG filter{$s}: $filter{$s}\n" if ($debug > 1);
480                my $tmp = $filter{$s};
481                next if (not defined $tmp);
482                # Expand variables if any single one found
483                if ($tmp =~ /\$/) {
484                        eval { $tmp =~ s/(\$\w+)/$1/eeg };
485                }
486                $line =~ s|$s|$tmp|;
487        }
488        print DEST $line;
489}
490close(FILE);
491close(DEST);
492}
493
494
4951;
Note: See TracBrowser for help on using the repository browser.