source: rtems-tools/tester/rt/report.py @ 30218f5

Last change on this file since 30218f5 was 30218f5, checked in by Chris Johns <chrisj@…>, on Nov 5, 2017 at 7:48:20 AM

tester: Add reporting the RTEMS version, build and tools.

Update #3217.

  • Property mode set to 100644
File size: 13.5 KB
Line 
1#
2# RTEMS Tools Project (http://www.rtems.org/)
3# Copyright 2013-2014 Chris Johns (chrisj@rtems.org)
4# All rights reserved.
5#
6# This file is part of the RTEMS Tools package in 'rtems-tools'.
7#
8# Redistribution and use in source and binary forms, with or without
9# modification, are permitted provided that the following conditions are met:
10#
11# 1. Redistributions of source code must retain the above copyright notice,
12# this list of conditions and the following disclaimer.
13#
14# 2. Redistributions in binary form must reproduce the above copyright notice,
15# this list of conditions and the following disclaimer in the documentation
16# and/or other materials provided with the distribution.
17#
18# THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
19# AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
20# IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
21# ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE
22# LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
23# CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
24# SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
25# INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
26# CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
27# ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
28# POSSIBILITY OF SUCH DAMAGE.
29#
30
31#
32# RTEMS Testing Reports
33#
34
35import datetime
36import os
37import threading
38
39from rtemstoolkit import error
40from rtemstoolkit import log
41from rtemstoolkit import path
42
43#
44# Maybe this should be a configuration.
45#
46test_fail_excludes = [
47    'minimum'
48]
49
50class report(object):
51    '''RTEMS Testing report.'''
52
53    def __init__(self, total):
54        self.lock = threading.Lock()
55        self.total = total
56        self.total_len = len(str(total))
57        self.passed = 0
58        self.failed = 0
59        self.user_input = 0
60        self.expected_fail = 0
61        self.indeterminate = 0
62        self.benchmark = 0
63        self.timeouts = 0
64        self.invalids = 0
65        self.wrong_version = 0
66        self.wrong_build = 0
67        self.wrong_tools = 0
68        self.results = {}
69        self.config = {}
70        self.name_max_len = 0
71
72    def __str__(self):
73        msg  = 'Passed:        %*d%s' % (self.total_len, self.passed, os.linesep)
74        msg += 'Failed:        %*d%s' % (self.total_len, self.failed, os.linesep)
75        msg += 'User Input:    %*d%s' % (self.total_len, self.user_input, os.linesep)
76        msg += 'Expected Fail: %*d%s' % (self.total_len, self.expected_fail, os.linesep)
77        msg += 'Indeterminate: %*d%s' % (self.total_len, self.self.indeterminate, os.linesep)
78        msg += 'Benchmark:     %*d%s' % (self.total_len, self.self.benchmark, os.linesep)
79        msg += 'Timeout:       %*d%s' % (self.total_len, self.timeouts, os.linesep)
80        msg += 'Invalid:       %*d%s' % (self.total_len, self.invalids, os.linesep)
81        msg += 'Wrong Version  %*d%s' % (self.total_len, self.wrong_version, os.linesep)
82        msg += 'Wrong Build    %*d%s' % (self.total_len, self.wrong_build, os.linesep)
83        msg += 'Wrong Tools    %*d%s' % (self.total_len, self.wrong_tools, os.linesep)
84        return msg
85
86    def start(self, index, total, name, executable, bsp_arch, bsp, show_header):
87        header = '[%*d/%*d] p:%-*d f:%-*d u:%-*d e:%-*d I:%-*d B:%-*d ' \
88                 't:%-*d i:%-*d W:%-*d | %s/%s: %s' % \
89                 (len(str(total)), index,
90                  len(str(total)), total,
91                  len(str(total)), self.passed,
92                  len(str(total)), self.failed,
93                  len(str(total)), self.user_input,
94                  len(str(total)), self.expected_fail,
95                  len(str(total)), self.indeterminate,
96                  len(str(total)), self.benchmark,
97                  len(str(total)), self.timeouts,
98                  len(str(total)), self.invalids,
99                  len(str(total)), self.wrong_version + self.wrong_build + self.wrong_tools,
100                  bsp_arch,
101                  bsp,
102                  path.basename(name))
103        self.lock.acquire()
104        if name in self.results:
105            self.lock.release()
106            raise error.general('duplicate test: %s' % (name))
107        self.results[name] = { 'index': index,
108                               'bsp': bsp,
109                               'bsp_arch': bsp_arch,
110                               'exe': name,
111                               'start': datetime.datetime.now(),
112                               'end': None,
113                               'result': None,
114                               'output': None,
115                               'header': header }
116
117        self.lock.release()
118        if show_header:
119            log.notice(header, stdout_only = True)
120
121    def end(self, name, output, output_prefix):
122        start = False
123        end = False
124        state = None
125        version = None
126        build = None
127        tools = None
128        timeout = False
129        prefixed_output = []
130        for line in output:
131            if line[0] == output_prefix:
132                if line[1].startswith('*** '):
133                    banner = line[1][4:]
134                    if banner.startswith('BEGIN OF '):
135                        start = True
136                    elif line[1][4:].startswith('END OF '):
137                        end = True
138                    elif banner.startswith('TIMEOUT TIMEOUT'):
139                        timeout = True
140                    elif banner.startswith('TEST VERSION:'):
141                        version = banner[13:].strip()
142                    elif banner.startswith('TEST STATE:'):
143                        state = banner[11:].strip()
144                    elif banner.startswith('TEST BUILD:'):
145                        build = ','.join(banner[11:].strip().split(' '))
146                    elif banner.startswith('TEST TOOLS:'):
147                        tools = banner[11:].strip()
148            prefixed_output += [line[0] + ' ' + line[1]]
149        self.lock.acquire()
150        if name not in self.results:
151            self.lock.release()
152            raise error.general('test report missing: %s' % (name))
153        if self.results[name]['end'] is not None:
154            self.lock.release()
155            raise error.general('test already finished: %s' % (name))
156        self.results[name]['end'] = datetime.datetime.now()
157        if version:
158            if 'version' not in self.config:
159                self.config['version'] = version
160            else:
161                if version != self.config['version']:
162                    state = 'WRONG-VERSION'
163        if build:
164            if 'build' not in self.config:
165                self.config['build'] = build
166            else:
167                if build != self.config['build']:
168                    state = 'WRONG-BUILD'
169        if tools:
170            if 'tools' not in self.config:
171                self.config['tools'] = tools
172            else:
173                if tools != self.config['tools']:
174                    state = 'WRONG-TOOLS'
175        if state is None or state == 'EXPECTED-PASS':
176            if start and end:
177                if state is None or state == 'EXPECTED-PASS':
178                    status = 'passed'
179                    self.passed += 1
180            elif timeout:
181                status = 'timeout'
182                self.timeouts += 1
183            elif start:
184                if not end:
185                    status = 'failed'
186                    self.failed += 1
187            else:
188                exe_name = path.basename(name).split('.')[0]
189                if exe_name in test_fail_excludes:
190                    status = 'passed'
191                    self.passed += 1
192                else:
193                    status = 'invalid'
194                    self.invalids += 1
195        else:
196            if state == 'EXPECTED_FAIL':
197                if start and end:
198                    status = 'passed'
199                    self.passed += 1
200                else:
201                    status = 'expected-fail'
202                    self.expected_fail += 1
203            elif state == 'USER_INPUT':
204                status = 'user-input'
205                self.user_input += 1
206            elif state == 'INDETERMINATE':
207                if start and end:
208                    status = 'passed'
209                    self.passed += 1
210                else:
211                    status = 'indeterminate'
212                    self.indeterminate += 1
213            elif state == 'BENCHMARK':
214                status = 'benchmark'
215                self.benchmark += 1
216            elif state == 'WRONG-VERSION':
217                status = 'wrong-version'
218                self.wrong_version += 1
219            elif state == 'WRONG-BUILD':
220                status = 'wrong-build'
221                self.wrong_build += 1
222            elif state == 'WRONG-TOOLS':
223                status = 'wrong-tools'
224                self.wrong_tools += 1
225            else:
226                raise error.general('invalid test state: %s: %s' % (name, state))
227        self.results[name]['result'] = status
228        self.results[name]['output'] = prefixed_output
229        if self.name_max_len < len(path.basename(name)):
230            self.name_max_len = len(path.basename(name))
231        self.lock.release()
232        return status
233
234    def log(self, name, mode):
235        status_fails = ['failed', 'timeout', 'invalid',
236                        'wrong-version', 'wrong-build', 'wrong-tools']
237        if mode != 'none':
238            self.lock.acquire()
239            if name not in self.results:
240                self.lock.release()
241                raise error.general('test report missing: %s' % (name))
242            exe = path.basename(self.results[name]['exe'])
243            result = self.results[name]['result']
244            time = self.results[name]['end'] - self.results[name]['start']
245            failed = result in status_fails
246            result = 'Result: %-10s Time: %s %s' % (result, str(time), exe)
247            if mode != 'none':
248                header = self.results[name]['header']
249            if mode == 'all' or failed:
250                output = self.results[name]['output']
251            else:
252                output = None
253            self.lock.release()
254            if header:
255                log.output(header)
256            if output:
257                log.output(result)
258                log.output(output)
259
260    def get_config(self, config, not_found = None):
261        if config in self.config:
262            return self.config[config]
263        return not_found
264
265    def score_card(self, mode = 'full'):
266        if mode == 'short':
267            wrongs = self.wrong_version + self.wrong_build + self.wrong_tools
268            return 'Passed:%d Failed:%d Timeout:%d Invalid:%d Wrong:%d' % \
269                (self.passed, self.failed, self.timeouts, self.invalids, wrongs)
270        elif mode == 'full':
271            l = []
272            l += ['Passed:        %*d' % (self.total_len, self.passed)]
273            l += ['Failed:        %*d' % (self.total_len, self.failed)]
274            l += ['User Input:    %*d' % (self.total_len, self.user_input)]
275            l += ['Expected Fail: %*d' % (self.total_len, self.expected_fail)]
276            l += ['Indeterminate: %*d' % (self.total_len, self.indeterminate)]
277            l += ['Benchmark:     %*d' % (self.total_len, self.benchmark)]
278            l += ['Timeout:       %*d' % (self.total_len, self.timeouts)]
279            l += ['Invalid:       %*d' % (self.total_len, self.invalids)]
280            l += ['Wrong Version: %*d' % (self.total_len, self.wrong_version)]
281            l += ['Wrong Build:   %*d' % (self.total_len, self.wrong_build)]
282            l += ['Wrong Tools:   %*d' % (self.total_len, self.wrong_tools)]
283            l += ['---------------%s' % ('-' * self.total_len)]
284            l += ['Total:         %*d' % (self.total_len, self.total)]
285            return os.linesep.join(l)
286        raise error.general('invalid socre card mode: %s' % (mode))
287
288    def failures(self):
289        def show_state(results, state, max_len):
290            l = []
291            for name in results:
292                if results[name]['result'] == state:
293                    l += [' %s' % (path.basename(name))]
294            return l
295        l = []
296        if self.failed:
297            l += ['Failures:']
298            l += show_state(self.results, 'failed', self.name_max_len)
299        if self.user_input:
300            l += ['User Input:']
301            l += show_state(self.results, 'user-input', self.name_max_len)
302        if self.expected_fail:
303            l += ['Expected Fail:']
304            l += show_state(self.results, 'expected-fail', self.name_max_len)
305        if self.indeterminate:
306            l += ['Indeterminate:']
307            l += show_state(self.results, 'indeterminate', self.name_max_len)
308        if self.benchmark:
309            l += ['Benchmark:']
310            l += show_state(self.results, 'benchmark', self.name_max_len)
311        if self.timeouts:
312            l += ['Timeouts:']
313            l += show_state(self.results, 'timeout', self.name_max_len)
314        if self.invalids:
315            l += ['Invalid:']
316            l += show_state(self.results, 'invalid', self.name_max_len)
317        if self.wrong_version:
318            l += ['Wrong Version:']
319            l += show_state(self.results, 'wrong-version', self.name_max_len)
320        if self.wrong_build:
321            l += ['Wrong Build:']
322            l += show_state(self.results, 'wrong-build', self.name_max_len)
323        if self.wrong_tools:
324            l += ['Wrong Tools:']
325            l += show_state(self.results, 'wrong-tools', self.name_max_len)
326        return os.linesep.join(l)
327
328    def summary(self):
329        log.output()
330        log.notice(self.score_card())
331        log.output(self.failures())
Note: See TracBrowser for help on using the repository browser.