Object-Level Fusion for Surround Environment Perception in Automated Driving Applications

Typ: Fortschritt-Berichte VDI
Erscheinungsdatum: 25.08.2017
Reihe: 12
Band Nummer: 804
Autor: Michael Aeberhard M.Sc.
Ort: München
ISBN: 978-3-18-380412-2
ISSN: 0178-9449
Erscheinungsjahr: 2017
Anzahl Seiten: 214
Anzahl Abbildungen: 79
Anzahl Tabellen: 21
Produktart: Buch (paperback, DINA5)

Produktbeschreibung

Driver assistance systems have increasingly relied on more sensors for new functions. As advanced driver assistance system continue to improve towards automated driving, new methods are required for processing the data in an efficient and economical manner from the sensors for such complex systems. In this thesis, an environment model approach for the detection of dynamic objects is presented in order to realize an effective method for sensor data fusion. A scalable high-level fusion architecture is developed for fusing object data from several sensors in a single system. The developed high-level sensor data fusion architecture and its algorithms are evaluated using a prototype vehicle equipped with 12 sensors for surround environment perception. The work presented in this thesis has been extensively used in several research projects as the dynamic object detection platform for automated driving applications on highways in real traffic.

Contents
Abbreviations VIII
List of Symbols X
Abstract XV
1 Introduction 1
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Automation in Driver Assistance and Safety Systems . . . . . . . . . . . . 3
1.2.1 Level 0 { No Automation . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 Level 1 { Driver Assistance . . . . . . . . . . . . . . . . . . . . . . 7
1.2.3 Level 2 { Partial Automation . . . . . . . . . . . . . . . . . . . . . 8
1.2.4 Level 3 { Conditional Automation . . . . . . . . . . . . . . . . . . . 9
1.2.5 Levels 4 and 5 { Towards Fully Automated Driving . . . . . . . . . 15
1.3 Problem of Object Detection . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.4 Contribution and Outline of the Thesis . . . . . . . . . . . . . . . . . . . . 23
2 Sensor Data Fusion Architectures 27
2.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.1 Low-Level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.1.2 High-Level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.1.3 Hybrid . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.1.4 Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2 Proposed Modular Sensor Data Fusion Architecture . . . . . . . . . . . . . 38
2.2.1 Object Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.2.2 Sensor-Level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2.3 Fusion-Level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.2.4 Application-Level . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3 Fusion Strategy and Object Association 46
3.1 Data Alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.1.1 Spatial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.1.2 Temporal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2 Fusion Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.2.1 Sensor-to-Sensor . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.2.2 Sensor-to-Global . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.3 Association . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.3.2 Feature Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.3.3 State Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.3.4 Geometrical . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

3.3.5 Association Validation . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.3.6 Multi-Object Association . . . . . . . . . . . . . . . . . . . . . . . . 60
4 State and Covariance 64
4.1 Sensor-Level Processing with Tracking Algorithms . . . . . . . . . . . . . . 64
4.1.1 Feature Extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.1.2 Data Association . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.1.3 Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.1.4 Track Management . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.1.5 Kinematic Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.2 Correlation and Sequence of Sensor Data . . . . . . . . . . . . . . . . . . . 69
4.2.1 Process Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.2.2 Common Information History . . . . . . . . . . . . . . . . . . . . . 71
4.2.3 Out-of-Sequence Data . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.3 Track-to-Track Fusion with the Common State . . . . . . . . . . . . . . . . 73
4.3.1 Adapted Kalman Filter . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3.2 Covariance Intersection . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.3.3 Information Matrix Fusion . . . . . . . . . . . . . . . . . . . . . . . 77
4.3.4 Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.4 Geometrical Fusion using the Object Model . . . . . . . . . . . . . . . . . 86
4.4.1 Dimension Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.4.2 Extraction of Fused Coordinates . . . . . . . . . . . . . . . . . . . . 90
5 Existence Probability 93
5.1 Sensor-Level Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.1.1 Existence Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.1.2 Existence Update . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.1.3 Generalized Bayes Extension . . . . . . . . . . . . . . . . . . . . . . 97
5.1.4 Modeling the Parameters . . . . . . . . . . . . . . . . . . . . . . . . 98
5.1.5 Object Management . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.2 Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.2.2 Modeling with Dempster-Shafer Evidence Theory . . . . . . . . . . 105
5.2.3 Extension for Occlusion Modeling . . . . . . . . . . . . . . . . . . . 110
5.2.4 Modeling the Trust Probability . . . . . . . . . . . . . . . . . . . . 114
6 Classi cation 116
6.1 Sensor-Level Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
6.1.1 Measurement Classi cation . . . . . . . . . . . . . . . . . . . . . . 117
6.1.2 Temporal Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
6.2 Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
6.2.1 Modeling with the Dempster-Shafer Evidence Theory . . . . . . . . 125
6.2.2 Modeling the Trust Probability . . . . . . . . . . . . . . . . . . . . 130
7 Evaluation 133
7.1 Test Vehicle and Sensor Con guration . . . . . . . . . . . . . . . . . . . . 133

7.2 Overtaking Maneuver with Ground Truth . . . . . . . . . . . . . . . . . . 135
7.2.1 Ground Truth Calculation . . . . . . . . . . . . . . . . . . . . . . . 136
7.2.2 State Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
7.2.3 Existence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
7.2.4 Classi cation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
7.3 Performance in Real Trac Scenarios . . . . . . . . . . . . . . . . . . . . . 141
7.3.1 Detection Rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.3.2 Classi cation Performance . . . . . . . . . . . . . . . . . . . . . . . 146
7.3.3 Integration in Automated Driving and ADAS Projects . . . . . . . 149
8 Conclusion and Discussion 152
A Synchronous Track-to-Track Fusion Algorithms 155
A.1 Simple Weighted Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
A.2 Use of Cross-Covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
A.3 Covariance Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
A.4 Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
B Information Matrix Fusion Derivation 162
C Determining the Trust Probability 164
C.1 Existence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
C.2 Classi cation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
D Evaluation Scenario Descriptions 167
D.1 Training Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
D.2 Evaluation Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
D.2.1 Test Track . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
D.2.2 Real Trac . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
References 172

Keywords: Sensor Fusion, Perception, Autonomous Driving, Driver Assistance, Track-to-Track / Fusion, Tracking, Object Detection, Sensor Fusion, Perception, Autonomous Driving, Driver Assistance, Track-to-Track / Fusion, Tracking, Object Detection

76,00 € inkl. MwSt.
VDI-Mitgliedspreis:*
68,40 € inkl. MwSt.

* Der VDI-Mitgliedsrabatt gilt nur für Privatpersonen