像素大小和系統(tǒng)分辨率之間的關(guān)系–機(jī)器視覺(jué)成像

發(fā)布者：菲涅爾 發(fā)布時(shí)間：2022-09-24

了解相機(jī)傳感器和成像鏡頭之間的相互影響是設(shè)計(jì)和實(shí)現(xiàn)機(jī)器視覺(jué)系統(tǒng)的關(guān)鍵。然而這種關(guān)系的優(yōu)化往往被忽視，其實(shí)它對(duì)系統(tǒng)整體分辨率的影響是很大的。不合適的相機(jī)/鏡頭組合可能會(huì)導(dǎo)致成像系統(tǒng)在成本上的浪費(fèi)。不過(guò)，在不同應(yīng)用中選用合適的鏡頭和相機(jī)并不是一件容易的事情：更多的相機(jī)傳感器（導(dǎo)致更多鏡頭）被設(shè)計(jì)和制造出來(lái)，得益于更先進(jìn)的制造技術(shù)，它們擁有更強(qiáng)的性能。這些新的傳感器為我們選擇鏡頭新添了更多挑戰(zhàn)，使得相機(jī)和鏡頭搭配要考量更多因素。

第一個(gè)挑戰(zhàn)是像素變的更小。雖然較小的像素通常意味著更高的系統(tǒng)級(jí)分辨率，不過(guò)若將其他光學(xué)元件也考慮在內(nèi)，實(shí)際情況將變得更加復(fù)雜。在理想情況下，如果一個(gè)系統(tǒng)中不存在衍射或光學(xué)誤差，分辨率將僅僅與像素大小和物體大小有關(guān)（參見(jiàn)物方分辨率的解釋）。簡(jiǎn)單來(lái)說(shuō)，當(dāng)像素尺寸減小時(shí)，分辨率增加。這種增加使得拍攝較小的物體時(shí)，即使物體之間的間距減小，由于像素更小，它們之間的縫隙也能被解析出來(lái)。不過(guò)這是一個(gè)非常簡(jiǎn)單的模型，解釋了相機(jī)傳感器如何檢測(cè)物體，但并沒(méi)考慮噪聲或其他參數(shù)的影響。

鏡頭也具有分辨率規(guī)格，但其基本原理并不像傳感器分辨率那么容易理解，因?yàn)闆](méi)有像素這樣具體的解釋。當(dāng)待測(cè)物體特征經(jīng)由鏡頭成像到像素時(shí)最終決定其對(duì)比度再現(xiàn)的（調(diào)制傳遞函數(shù)或MTF）有兩個(gè)因素：衍射和像差。光線通過(guò)光圈時(shí)會(huì)發(fā)生衍射，造成對(duì)比度降低（更多細(xì)節(jié)，參見(jiàn)分辨率與對(duì)比度限制：艾里斑）。每個(gè)成像鏡頭設(shè)計(jì)時(shí)都會(huì)有像差存在，各種不同種類的像差會(huì)讓圖像變得模糊或產(chǎn)生偏移。使用快速鏡頭（≤f/4），光學(xué)像差通常是系統(tǒng)不“完美”的原因，系統(tǒng)會(huì)受到衍射極限的限制；在大多數(shù)情況下，鏡頭通常無(wú)法在其理論截止頻率（ξCutoff）下工作，如公式1所示。

將這個(gè)方程與相機(jī)傳感器建立聯(lián)系，隨著像素頻率的增加（像素大小下降），對(duì)比度下降 – 每個(gè)鏡頭都遵循這一趨勢(shì)。但這并不代表實(shí)際的鏡頭硬件性能。鏡頭的公差和制造精度也會(huì)對(duì)鏡頭的像差產(chǎn)生影響，其實(shí)際性能將會(huì)與標(biāo)稱的設(shè)計(jì)性能有所不同。我們很難基于鏡頭的標(biāo)稱數(shù)據(jù)來(lái)估計(jì)鏡頭的實(shí)際表現(xiàn)，但實(shí)驗(yàn)室中的測(cè)試可以幫助我們確定特定鏡頭和相機(jī)傳感器是否相互兼容。

想要了解一個(gè)鏡頭在某個(gè)傳感器上的表現(xiàn)，有一種方法是使用USAF?1951測(cè)試板來(lái)測(cè)試其分辨率。與星標(biāo)板相比，這種測(cè)試板更夠更好的測(cè)定鏡頭/傳感器的兼容性，因?yàn)樗鼈兊奶卣骶€排列呈正方形（和矩形）。以下示例顯示，在相同照明條件下，使用相同的高分辨率50mm焦距鏡頭拍攝，在三個(gè)不同的相機(jī)傳感器上所成的測(cè)試圖像。將每個(gè)圖像與鏡頭的標(biāo)稱軸上MTF曲線（藍(lán)色曲線）進(jìn)行比較。在這種情況下，我們僅使用軸上曲線，因?yàn)闇y(cè)量對(duì)比度時(shí)，僅用到傳感器中心的一小部分。圖1顯示，搭配像素大小為2.2μm的1 / 2.5” 安森美半導(dǎo)體MT9P031傳感器，當(dāng)放大倍數(shù)為0.177X時(shí)，50mm鏡頭的性能。使用分辨率中的公式1，傳感器的奈奎斯特分辨率為227.7lp/mm，這意味著在0.177X的放大倍率下，理論上該系統(tǒng)可以成像的最小物體尺寸為12.4μm（分辨率中的公式7的變形）。

請(qǐng)注意，這些計(jì)算沒(méi)有與之相關(guān)的對(duì)比度值。圖4.15中顯示了USAF 1951測(cè)試板上兩個(gè)元素的圖像；左方圖像顯示每個(gè)特征占用兩個(gè)像素，右部圖像顯示每個(gè)特征占用一個(gè)像素。在傳感器的奈奎斯特頻率（227 lp / mm）下，系統(tǒng)成像的對(duì)比度為8.8％，而對(duì)于一個(gè)可靠的成像系統(tǒng)來(lái)說(shuō)，最小對(duì)比度應(yīng)為20％以上。通過(guò)增加特征尺寸，將數(shù)值提高兩倍到24.8μm，對(duì)比度增加了近3倍。實(shí)際上，當(dāng)成像系統(tǒng)的像素頻率為奈奎斯特頻率的一半時(shí)，圖像質(zhì)量要可靠得多。

圖 1:像素大小為2.2μm的安森美半導(dǎo)體MT9P031傳感器搭配高分辨率50mm鏡頭時(shí)，標(biāo)稱鏡頭性能與實(shí)際性能的比較。 紅線顯示傳感器的奈奎斯特極限，黃線顯示奈奎斯特極限的一半。

與方程2.1和2.7顯示的結(jié)果不同，尺寸為12.4μm的物體無(wú)法在該成像系統(tǒng)下有效地成像，盡管在數(shù)學(xué)上，物體尺寸在系統(tǒng)的有效范圍內(nèi)。這種矛盾突出顯示了一階計(jì)算值和近似值不足以確定成像系統(tǒng)能否實(shí)現(xiàn)特定的分辨率。另外，奈奎斯特頻率計(jì)算值也不是一種能夠確定系統(tǒng)分辨率水平的統(tǒng)一度量，只能用作一種指示系統(tǒng)極限的工具。8.8％的對(duì)比度太低，不夠精確，因?yàn)闂l件的微小波動(dòng)就可能會(huì)使對(duì)比度降低到無(wú)法解析的水平。

圖2和3顯示了與圖4.15類似的圖像，使用的傳感器分別為索尼ICX655傳感器（像素大小3.45μm）和安森美半導(dǎo)體KAI-4021傳感器（像素大小7.4μm）。每幅圖中的左方圖像顯示每個(gè)特征占兩個(gè)像素，右方圖像顯示每個(gè)特征占一個(gè)像素。三個(gè)圖之間的主要區(qū)別是圖2和3中的所有圖像對(duì)比度都高于20％，意味著（乍一看）它們能夠有效地解析這些特征。與圖1中像素大小為2.2μm的傳感器相比，它們能夠分辨的物體最小尺寸要更大。但是，它們?cè)谀慰固仡l率下的成像仍然是不清晰的，因?yàn)槲矬w的輕微移動(dòng)就會(huì)使兩個(gè)像素之間的期望特征產(chǎn)生偏移，使得物體很難被解析出來(lái)。隨著像素尺寸從2.2μm增加到3.45μm再到7.4μm，從每個(gè)特征占一個(gè)像素到每個(gè)特征占兩個(gè)像素引起的對(duì)比度增加幅度越來(lái)越小，在ICX655（像素大小3.45μm）上，對(duì)比度變化僅在2倍左右；而在KAI-4021（像素大小7.4μm）上，這種效果進(jìn)一步降低。

圖 2:像素大小為3.45μm的索尼ICX655傳感器搭配高分辨率50mm鏡頭時(shí)，標(biāo)稱鏡頭性能與實(shí)際性能的比較。 深藍(lán)色線顯示傳感器的奈奎斯特極限，而淺藍(lán)色線顯示奈奎斯特極限的一半。

圖 3:像素大小為7.4μm的安森美半導(dǎo)體 KAI-4021傳感器搭配高分辨率50mm鏡頭時(shí)，標(biāo)稱鏡頭性能與實(shí)際性能的比較。 深綠色線顯示傳感器的奈奎斯特極限，而淺綠色線顯示奈奎斯特極限的一半。

圖1,2和3中顯示出一個(gè)重要差異，就是在實(shí)際圖像中，標(biāo)稱鏡頭MTF和實(shí)際對(duì)比度之間的差異。在227 lp / mm的頻率下，鏡頭的對(duì)比度應(yīng)該達(dá)到大約24％，而圖1右側(cè)的鏡頭MTF曲線顯示，實(shí)際對(duì)比度值僅為8.8％。產(chǎn)生這種差異的原因主要有兩個(gè)：傳感器MTF和鏡頭公差。大多數(shù)傳感器公司不會(huì)公布傳感器的MTF曲線，但是它們的形狀與鏡頭的曲線基本類似。由于系統(tǒng)級(jí)MTF是系統(tǒng)中所有部件的MTF的乘積，因此必須將鏡頭和傳感器MTF相乘，才能得到更準(zhǔn)確的系統(tǒng)總體分辨率性能。另外，鏡頭的公差也使得實(shí)際MTF相較標(biāo)稱MTF產(chǎn)生了下降。所有這些因素結(jié)合在一起，會(huì)改變期望的系統(tǒng)分辨率，因此，鏡頭MTF曲線不足以準(zhǔn)確表示系統(tǒng)級(jí)別的分辨率。

如圖4.18中的圖像所示，用較大像素拍攝的圖像擁有更好的系統(tǒng)級(jí)對(duì)比度。隨著像素尺寸的減小，對(duì)比度下降很快。在機(jī)器視覺(jué)系統(tǒng)中，最好將對(duì)比度保持在20％以上，如果對(duì)比度低于此值，將會(huì)極易受到溫度變化或照明串?dāng)_引起的噪聲波動(dòng)的影響。圖4.15中采用50mm鏡頭和像素大小2.2μm傳感器拍攝的圖像的對(duì)比度為8.8％，對(duì)于與2.2μm像素尺寸相對(duì)應(yīng)的對(duì)象特征來(lái)說(shuō)，對(duì)比度太低，因而圖像數(shù)據(jù)是不可靠的，此時(shí)鏡頭成為了系統(tǒng)的限制因素。像素尺寸遠(yuǎn)小于2.2μm的傳感器市面上也有銷售并且很受歡迎，當(dāng)像素遠(yuǎn)遠(yuǎn)低于2.2μm時(shí)，光學(xué)件幾乎無(wú)法解析出單個(gè)像素。這意味著分辨率中的方程無(wú)益于確定系統(tǒng)級(jí)分辨率，而與上述特征圖像相似的圖像也無(wú)法被捕捉到。然而，這些微小的像素仍然是有價(jià)值的 – 只是因?yàn)楣鈱W(xué)件無(wú)法解析它們，并不代表它們無(wú)用。對(duì)于某些算法，例如斑點(diǎn)分析或光學(xué)字符識(shí)別（OCR）來(lái)說(shuō)，重點(diǎn)不在于鏡頭能否解析單個(gè)像素，而是更多地關(guān)注在我們可以在特定特征上放置多少個(gè)像素。避免使用較小的像素插值，將增加測(cè)量的準(zhǔn)確性。另外，使用拜爾濾光片配合彩色相機(jī)，可以減少分辨率的損失。

圖 4:采用相同的鏡頭和照明條件，使用三種不同像素尺寸的相機(jī)傳感器拍攝的圖像。上方圖像每個(gè)特征占四個(gè)像素，下方圖像每個(gè)特征占兩個(gè)像素。

另一個(gè)要記住的一點(diǎn)是，當(dāng)每個(gè)特征占一個(gè)像素變?yōu)槊總€(gè)特征占兩個(gè)像素時(shí)，對(duì)比度會(huì)顯著升高，特別是當(dāng)像素較小時(shí)。頻率減半，最小的可解析物體大小將翻倍。如果非要查看單個(gè)像素級(jí)別，最好將光學(xué)倍率翻倍并將視場(chǎng)減半。這將導(dǎo)致特征尺寸能夠覆蓋兩倍的像素，對(duì)比度會(huì)高得多。這個(gè)解決方案的缺點(diǎn)是整體視場(chǎng)范圍減小。從圖像傳感器的角度出發(fā)，最好的做法是保持像素大小不變，使圖像傳感器的尺寸大小加倍，例如，一個(gè)使用像素大小為2.2μm的1/2“傳感器，1X放大率的成像系統(tǒng)與另一個(gè)使用像素大小為2.2μm的1”傳感器，2倍放大率的系統(tǒng)相比，擁有相同的視場(chǎng)和空間分辨率，但是理論上2X系統(tǒng)的對(duì)比度翻倍了。

不過(guò)，傳感器尺寸的增加會(huì)對(duì)鏡頭造成額外的影響。成像鏡頭的主要成本因素之一是其設(shè)計(jì)尺寸。設(shè)計(jì)一個(gè)適用于更大尺寸傳感器的鏡頭需要用到更多的光學(xué)部件，并且這些部件會(huì)變得更大，此外我們還需要更緊密的系統(tǒng)公差。對(duì)于上述例子，我們?cè)O(shè)計(jì)一個(gè)用于1“傳感器的鏡頭的花費(fèi)可能是設(shè)計(jì)一個(gè)用于1/2”傳感器的鏡頭五倍。即使如此，它可能也無(wú)法達(dá)到與后者相同的像素極限分辨率規(guī)格。

以上內(nèi)容原文摘自https://www.edmundoptics.com/ ， 轉(zhuǎn)載請(qǐng)注明。

上一篇：為什么半導(dǎo)體的測(cè)量和檢測(cè)不能使用帶風(fēng)扇的相機(jī)？

下一篇：調(diào)制傳遞函數(shù)簡(jiǎn)介