Nomenclature xxi
1 Introduction 1
1.1 Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Outline and contributions . . . . . . . . . . . . . . . . . . 4
2 Preliminaries 7
2.1 Regularized inverse problems . . . . . . . . . . . . . . . . 7
2.1.1 Forward model . . . . . . . . . . . . . . . . . . . . 8
2.1.2 Low complexity priors . . . . . . . . . . . . . . . . 15
2.1.3 Sensing model and embedding . . . . . . . . . . . 25
2.2 Recovery methods . . . . . . . . . . . . . . . . . . . . . . 32
2.2.1 General optimization formulation . . . . . . . . . 33
2.2.2 Non-convex recovery methods . . . . . . . . . . . 35
2.2.3 Convex recovery methods . . . . . . . . . . . . . . 41
2.2.4 Algorithms for convex optimization . . . . . . . . 46
2.2.5 Dictionary Learning . . . . . . . . . . . . . . . . . 51
3 Sparse Support Recovery with Convex Fidelity Constraint 57
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.1.1 Sparse regularization with convex fidelity constraint 58
3.1.2 Dual Certificates . . . . . . . . . . . . . . . . . . . 60
3.1.3 Main result for sparse support recovery . . . . . . 62
3.1.4 Relation to PriorWorks . . . . . . . . . . . . . . . 64
x Table of contents
3.2 Preliminaries and main result . . . . . . . . . . . . . . . . 65
3.2.1 Noiseless support stability . . . . . . . . . . . . . . 65
3.2.2 Model subspace and restricted injectivity conditions 66
3.2.3 Formal statement of the main result . . . . . . . . 71
3.3 Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.3.1 Proofs of the lemmas and subdifferential decomposability
. . . . . . . . . . . . . . . . . . . . . . . 74
3.3.2 Proof of Theorem 5 . . . . . . . . . . . . . . . . . . 83
3.4 Numerical experiments . . . . . . . . . . . . . . . . . . . . 91
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4 Online Convolutional Dictionary Learning for
Multimodal Imaging 95
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.1.1 Main Contributions . . . . . . . . . . . . . . . . . . 97
4.1.2 RelatedWork . . . . . . . . . . . . . . . . . . . . . 99
4.2 Proposed Method . . . . . . . . . . . . . . . . . . . . . . . 100
4.2.1 Problem Formulation . . . . . . . . . . . . . . . . 100
4.2.2 Online Convolutional Dictionary Learning
Algorithm . . . . . . . . . . . . . . . . . . . . . . . 104
4.2.3 Dictionary update . . . . . . . . . . . . . . . . . . 105
4.2.4 Implementation details . . . . . . . . . . . . . . . 107
4.3 Experimental Evaluation . . . . . . . . . . . . . . . . . . . 110
4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5 Multispectral Compressive Imaging Strategies using
Fabry-Pérot Filtered Sensors 119
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.1.1 Main Contributions . . . . . . . . . . . . . . . . . . 121
5.1.2 RelatedWork . . . . . . . . . . . . . . . . . . . . . 122
5.2 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.2.1 Fabry-Pérot Filtered Sensors . . . . . . . . . . . . 125
5.2.2 Forward model and analysis prior . . . . . . . . . 127
Table of contents xi
5.2.3 Recovery Method . . . . . . . . . . . . . . . . . . . 128
5.3 Multispectral Compressive Imaging by Generalized Inpainting
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
5.3.1 Image Formation Model . . . . . . . . . . . . . . . 132
5.3.2 Simulations . . . . . . . . . . . . . . . . . . . . . . 135
5.3.3 Experiments . . . . . . . . . . . . . . . . . . . . . . 138
5.4 Multispectral Compressive Imaging by Out-of-Focus
Random Convolution . . . . . . . . . . . . . . . . . . . . . 140
5.4.1 Image Formation Model . . . . . . . . . . . . . . . 140
5.4.2 Non-idealities and practical considerations . . . . 145
5.4.3 Sensing matrix implementation . . . . . . . . . . . 151
5.4.4 Simulations . . . . . . . . . . . . . . . . . . . . . . 153
5.5 Final Comparison . . . . . . . . . . . . . . . . . . . . . . . 155
5.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
6 Conclusions 163
6.1 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
6.2 Perspectives and open questions . . . . . . . . . . . . . . 166
References 173
Appendix A Elements of Convex Optimization 195