Представление приборов с зарядовой связью (ПЗС)
Несомненно, цифровые камеры с различными конфигурациями ПЗС-фотоприемников (приборов с зарядовой связью) являются наиболее распространенными устройствами получения снимков в современной оптической микроскопии. До последнего времени, для регистрации наблюдаемых в микроскоп изображений, использовались, главным образом, специализированные пленочные камеры. Этот традиционный метод, основанный на светочувствительности галогенидосеребряных фотопленок, включает в себя стадию временного хранения скрытого изображения в форме реакционно-активных участков экспонированной пленки. Видимым изображение становится только после химической обработки эмульсионного слоя пленки (проявления).
Рис. 1. Цифровые ПЗС-камеры для оптической микроскопии
В цифровой камере вместо светочувствительной пленки используется фотонный детектор (фотоприемник) — тонкая кремниевая пластина, содержащая от нескольких тысяч до нескольких миллионов светочувствительных элементов (областей), организованных в регулярную матрицу. Эти светочувствительные элементы получают и хранят информацию об изображении, в виде локализованного электрического заряда, величина которого определяется интенсивностью падающего светового излучения. Переменный электрический сигнал, связанный с каждым элементом изображения (пикселем) фотоприемника, с высокой скоростью считывается, как значение интенсивности соответствующего участка изображения. После преобразования считанных значений в цифровую форму из них воссоздается изображение, которое, практически мгновенно, можно отобразить на мониторе компьютера.
На рисунке 1 представлены некоторые цифровые камеры, созданные специально для оптической микроскопии. Цифровая камера Nikon Digital Eclipse DXM1200 формирует цифровые изображения высокого фотографического качества, обладает разрешением в 12 миллионов пикселей, низким уровнем искажений, превосходной цветопередачей и высокой чувствительностью. Управляющее ПО камеры предоставляет пользователю широкую свободу действий в отношении сбора, организации и коррекции цифровых изображений. Непосредственный контроль в цвете на экране вспомогательного компьютера со скоростью 12 кадров в секунду позволяет легко выполнять фокусировку изображений, которые можно сохранять в одном из трех (по выбору) форматов: JPG, TIF и BMP, что обеспечивает высокую гибкость в использовании информации.
На рисунке 1 представлена новейшая цифровая камера DS-5M-L1 Digital Sight от компании Nikon, предназначенная для цифровой съемки в микроскопии. По сути, камера представляет собой цифровую систему формирования изображений, созданную по принципу «все в одном», включая автономный блок управления со встроенным ЖК-монитором. Благодаря простым меню и программируемым режимам формирования изображений, в соответствии с различными методами наблюдения, система оптимизирует получение высококачественных изображений с разрешением до 5 мегапикселей. Автономная конструкция обеспечивает преимущества независимой работы, включая сохранение изображений на компактной флэш-карте памяти (CompactFlash Card), устанавливаемой в модуль «блок управления/монитор», и, при этом, предоставляет возможность, при желании, включить систему в полнофункциональную сеть. Для подключения к ПК система оборудована интерфейсом USB, а для подключения к локальной сети или к сети Интернет предусмотрен порт Ethernet. Для просмотра изображений в реальном масштабе времени и дистанционного управления камерой система поддерживает веб-браузер, а также протоколы HTTP, Telnet, сервер/клиент FTP, и совместима с протоколом DHCP. Показанная на рисунке 1 система представляет современные технологии, доступные сегодня для получения цифровых изображений в оптической микроскопии.
Пожалуй, самым важным преимуществом цифровой технологии получения изображений, что подтверждается использованием ПЗС-камер, является возможность незамедлительно убедиться в успешном получении требуемого изображения. Особенно очевидной становится ценность такой возможности, если учесть экспериментальные сложности во многих ситуациях получения изображений и преходящий характер большинства исследуемых процессов. ПЗС-фотоприемник выполняет те же функции, что и фотопленка, но во многих режимах получения изображений обладает рядом преимуществ. ПЗС-камерынаучно-исследовательского класса обладают экстраординарным динамическим диапазоном, пространственным разрешением, полосой пропускания и скоростью формирования изображений. С учетом светочувствительности и собирательной способности некоторых ПЗС-систем, для получения пленочных изображений со сравнимым отношением сигнал/шум потребовалась бы фотопленка со светочувствительностью около 100 000 единиц ISO. Пространственное разрешение современных ПЗС-фотоприемников аналогично этому параметру фотопленок, тогда как разрешение по интенсивности света на два-три порядка лучше, чем у пленочных и видеокамер. В отличие от высококачественных ПЗС-фотоприемников, которые обеспечивают значительный квантовый выход даже в ближней инфракрасной области спектра, обычные фотографические пленки нечувствительны к волнам длиной более 650 нанометров. Линейность характеристик ПЗС-камер в широком диапазоне значений освещенности обеспечивает превосходное качество и количественные характеристики, присущие спектрофотометрам с функцией регистрации изображений.
ПЗС-фотоприемник состоит из большого числа светочувствительных элементов, организованных в двумерную матрицу на тонкой кремниевой подложке. Полупроводниковые свойства кремния позволяют ПЗС-структуре, при определенных значениях электрического смещения, улавливать и удерживать индуцированные фотонами носители заряда. Отдельные элементы изображения (пиксели) разграничиваются в кремниевой матрице ортогональной решеткой узких прозрачных токопроводящих полосок (электродов), или затворов, нанесенных на кристалл. Основным светочувствительным элементом матрицы ПЗС является металл-оксид-полупроводниковый (МОП) конденсатор, работающий как фотодиод и устройство хранения. На рисунке 2 представлен отдельный МОП прибор такого типа. Под действием напряжения обратного смещения, отрицательно заряженные электроны мигрируют в область, расположенную под положительно заряженным затвором. Высвобожденные фотонами электроны накапливаются в обедненной области, пока не заполнят все накопительные ямы-емкости. При объединении в общую матрицу ПЗС отдельные фоточувствительные элементы в одном направлении разделяются при помощи напряжений, прикладываемых к поверхностным электродам, а в другом направлении электрически изолируются друг от друга изолирующими барьерами, или ограничителями каналов (охранными кольцами) в кремниевой подложке.
Светочувствительные фотодиодные элементы матрицы ПЗС поглощают бóльшую часть энергии падающих фотонов, в результате чего происходит высвобождение электронов, с образованием в кристаллической решетке кремния мест с дефицитом электронов (т. н. дырок). На каждый поглощенный фотон образуется одна пара «электрон — дырка» и соответствующий заряд, который накапливается в каждом пикселе пропорционально числу падающих фотонов. Накопление и перемещение зарядов, накапливающихся в течение заданного интервала времени, осуществляется внешними напряжениями, прикладываемыми к электродам каждого пикселя. Сначала каждый пиксель фоточувствительной матрицы работает, как потенциальная яма для хранения заряда в процессе его накопления. И хотя в потенциальной яме могут накапливаться как отрицательно заряженные электроны, так и положительно заряженные дырки (в зависимости от конструкции матрицы ПЗС), элементы заряда, создаваемые падающим светом, обычно, называют фотоэлектронами. В рамках нашего обсуждения, за носители заряда мы принимаем электроны. Фотоэлектроны могут накапливаться и храниться в течение длительных периодов времени, прежде чем будут считаны электронной системой камеры. Процесс накопления и хранения зарядов является одним из этапов формирования изображения
Вообще, процесс формирования изображения ПЗС-камерой можно разделить на четыре основных функциональных этапа: формирование заряда при взаимодействии фотонов со светочувствительной областью устройства, накопление и хранение, перенос и измерение высвободившегося заряда. На первом этапе, под действием падающих фотонов в обедненной области структуры МОП-конденсатора генерируются электроны и дырки; высвободившиеся электроны мигрируют в потенциальную яму, находящуюся под близлежащим положительно смещенным электродом затвора. Алюминиевые или поликремниевые поверхностные электроды затворов перекрывают каналы переноса заряда, расположенные в изолирующем слое окисла кремния, находящемся между структурой затворов и кремниевой подложкой, но изолированы от этих каналов. Использование поликремния в качестве материала для электродов обеспечивает зону прозрачности для падающих волн длинее 400 нанометров, что повышает долю доступной для воздействия фотонов поверхности прибора. Образующиеся в обедненной зоне электроны сначала накапливаются в положительно смещенных потенциальных ямах, связанных с каждым пикселем. В процессе считывания, накопленный заряд, под действием прикладываемых к затворам напряжений, последовательно сдвигается по каналам переноса. Рисунок 3 иллюстрирует систему электродов, образующих границы отдельного светочувствительного элемента матрицы ПЗС.
Рис. 2. Металл-оксид-полупроводниковый (МОП) конденсатор
В общем случае, хранящийся заряд прямо пропорционален световому потоку, падающему на пиксель фотоприемника, вплоть до полной емкости потенциальной ямы; следовательно, полная емкость потенциальной ямы (FWC) определяет максимально возможный сигнал, воспринимаемый пикселем, и является главным фактором, влияющим на динамический диапазон матрицы ПЗС. Зарядовая емкость потенциальной ямы элемента матрицы ПЗС определяется, главным образом, физическими размерами отдельного пикселя. С момента своего появления на рынке, самые распространенные ПЗС-фотоприемники состоят, как правило, из квадратных пикселей, собранных в прямоугольную матрицу с соотношением сторон 4:3. На рисунке 4 приведены типовые размеры некоторых, наиболее распространенных сегодня форматов фотоприемников, с их дюймовыми обозначениями, в соответствии с исторически сложившейся традицией в отношении диаметров видиконов.
Форматы матриц ПЗС
Прямоугольная форма и общепринятые размеры матриц ПЗС — результат их конкуренции на начальном этапе с видиконами, которым требовались твердотельные приемники для формирования электрического выходного сигнала, соответствующего принятым в то время видеостандартам. Отметим, что «дюймовые» обозначения не соответствуют в точности ни одному из форматов матриц ПЗС, а представляют собой размер прямоугольной области сканирования в видиконе соответствующего круглого сечения. Диагональ матрицы, обозначенной как «1-дюймовая», равна 16 миллиметрам, а размеры фотоэлемента, т. е., 9,6×12,8 мм, произошли от 1-дюймового видикона с наружным диаметром 25,4 мм и с диаметром входного окна около 18 мм. К сожалению, эта сбивающая с толку, система обозначений сохранилась, и часто используется скорее, для обозначения «типа», нежели размера матрицы ПЗС. Более того, в ней имеются форматы, определяемые комбинациями дюймово-десятичных размеров, например, широко распространенная 1/1,8-дюймовая матрица ПЗС, имеющая размер, промежуточный между ½-дюймовым и 2/3-дюймовым устройствами.
Хотя, в бытовых камерах по-прежнему используются, преимущественно, прямоугольные фотоприемники одного из «стандартных» форматов, в камерах научно-исследовательского уровня все шире применяются квадратные матрицы фотоприемников, которые лучше согласуются с круглым полем изображения в микроскопе. Сегодня производится широкий спектр типоразмеров матриц ПЗС, с пикселями различных размеров, оптимизированных для различных рабочих условий. Матрица ПЗС распространенного формата 2/3 дюйма содержит, как правило, не менее 768×480 фотодиодов и имеет размеры 8,8 мм x 6,6 мм (диагональ 11 мм). Максимальный размер (представленный диагональю) многих матриц ПЗС, значительно меньше поля зрения типового микроскопа, в результате чего получается только часть (сильно увеличенная) поля изображения. В некоторых случаях сильное увеличение может оказаться полезным, но, если урезанное поле зрения препятствует получению изображения, необходимо использовать промежуточные оптические компоненты, уменьшающие изображение. В качестве альтернативы можно использовать матрицу ПЗС большего размера, лучше согласующуюся с диаметром поля изображения, который в типовых микроскопах составляет 18–26 мм.
Приблизительная емкость хранения потенциальной ямы в матрице ПЗС равна площади диода (пикселя), умноженной на 1000. Матрицы ПЗС бытового уровня, форматом 2/3 дюйма, с размером пикселя 7–13 мкм, способны хранить от 50 000 до 100 000 электронов. Исходя из этого приближения, полная емкость потенциальной ямы диода с размерами 10×10 микрометров будет равна, приблизительно, 100 000 электронов. При заданном размере матрицы ПЗС, выбор конструкции, в отношении суммарного количества пикселей в матрице и, следовательно, ее размеров, требует компромисса между пространственным разрешением и зарядовой емкостью пикселя. Тенденция к максимальному увеличению числа пикселей и, как следствие, разрешения в современных устройствах потребительского уровня привела к использованию пикселей очень малых размеров, — в некоторых из новейших матриц ПЗС формата 2/3 дюйма используются пиксели размером менее 3 мкм.
В матрицах ПЗС для научных целей традиционно используются фотодиоды бóльших размеров, чем в бытовых (особенно, для видеорежима) и промышленных камерах. Полная емкость потенциальной ямы и динамический диапазон прямо определяются размерами фотодиода. Поэтому, с целью расширения динамического диапазона, повышения чувствительности и улучшения отношения сигнал/шум, в матрицах ПЗС для камер научно-исследовательского уровня с медленной разверткой используются, как правило, фотодиоды с размерами до 25×25 мкм. Совершенствование конструкций многих высококачественных камер научно-исследовательского уровня позволило использовать в них матрицы бóльших размеров с меньшими пикселями, способные поддерживать оптическое разрешение микроскопа на высоких скоростях передачи кадров. Большие матрицы, с несколькими миллионами пикселей, в таких усовершенствованных камерах способны формировать изображения с высоким разрешением всего поля зрения, а, в случае необходимости, обеспечивают повышенную чувствительность более крупных пикселей за счет использования бининга (см. ниже) и регулируемой скорости считывания.
Считывание электронов из матрицы ПЗС
Прежде, чем хранящийся в каждом элементе матрицы ПЗС заряд можно будет измерить, чтобы определить падающий на этот пиксель поток фотонов, упомянутый заряд необходимо переместить в модуль считывания, не нарушив, при этом, целостность зарядового пакета. Ключевыми аспектами использования матриц ПЗС в качестве устройств формирования изображений являются быстрые и эффективные процессы переноса и считывания заряда. В матрице ПЗС, где МОП-конденсаторы в большом количестве размещаются очень близко друг к другу, заряд перемещается через устройство за счет определенных изменений напряжения на затворах конденсаторов, вынуждающих заряд перетекать из одного конденсатора (либо ряда конденсаторов) в другой. Перенос заряда в кремнии эффективно сочетается с напряжением в виде тактовых (синхронизирующих) импульсов, прикладываемым к структуре перекрывающих электродов, — основе термина «прибор с зарядовой связью». Изначально матрицы ПЗС задумывались, как запоминающие устройства, и предназначались для использования в качестве электронного варианта устройств на цилиндрических магнитных доменах (ЦМД). Схема процесса переноса заряда удовлетворяет критическому требованию к запоминающим устройствам, относительно установления физической величины, представляющей бит информации, и сохранения целостности этой физической величины вплоть до ее считывания (или измерения). В матрицах ПЗС, использующихся для формирования изображений, бит информации представляется пакетом зарядов, порожденных фотонным взаимодействием. Поскольку матрица ПЗС является последовательным устройством, пакеты зарядов считываются поочередно.
Рис. 3. Структура воспринимающего элемента (пикселя) ПЗС
Чтобы определить фотонный поток, падающий на каждый из фотодиодов, необходимо измерить заряд, накопленный (и хранимый) каждым из фотодиодов за определенный промежуток времени, называемый временем интегрирования или временем экспонирования. Количественное определение хранящегося заряда осуществляется за счет комбинации параллельных и последовательных переносов, поочередно доставляющих зарядовые пакеты каждого из воспринимающих элементов в единый измерительный модуль. Сеть электродов, или структура затворов, встроенная в примыкающий к воспринимающим элементам слой матрицы ПЗС, образует сдвиговый регистр для переноса заряда. Основополагающий принцип переноса заряда, позволяющий выполнять его последовательное считывание с двумерной фотодиодной матрицы, изначально требует одновременного переноса всего массива отдельных зарядовых пакетов, образующего на поверхности фотоприемника параллельный регистр, в виде построчного сдвига (с шагом, равным одному ряду фотодиодов матрицы). Перемещение всего параллельного регистра переносит ближайший к краю регистра ряд (строку) зарядов пикселей в специальный одиночный ряд пикселей, расположенный вдоль одного из краев кристалла, под названием последовательный регистр. Из этого ряда (регистра) зарядовые пакеты последовательно переносятся в расположенный на этом же кристалле измерительный усилитель. После того, как последовательный регистр опустеет, он снова заполняется очередной сдвигаемой строкой параллельного регистра. Описанный цикл параллельно-последовательных сдвигов повторяется до тех пор, пока не опустеет (т. е. будет считан) весь параллельный регистр. Некоторые производители матриц ПЗС вместо терминов «параллельный» и «последовательный» регистр используют, соответственно, термины «вертикальный» и «горизонтальный», хотя первый вариант лучше ассоциируется с функциями, выполняемыми этими регистрами.
Для иллюстрации концепции последовательного считывания зарядов матрицы ПЗС широко используется так называемая «пожарная цепочка» для измерения количества осадков, когда интенсивность осадков, выпадающих на массив (матрицу) ведер может варьироваться, в зависимости от места, аналогично фотонам, падающим на пиксели фотоэлемента (см. рисунок 5(a)). Параллельный регистр представляется матрицей ведер, собирающих за период интегрирования различные количества воды (заряда). Лента конвейера пошагово перемещает ведра с водой в направлении ряда пустых ведер, представляющих собой последовательный регистр, который перемещается вторым конвейером, перпендикулярным первому. На рисунке 5(b) содержимое одного ряда ведер параллельно перемещается (сдвигается) в ведра последовательного регистра. Операции последовательного сдвига и считывания иллюстрируются рисунком 5©, на котором показано, как собранная дождевая вода последовательно перемещается из каждого ведра в калиброванную измерительную емкость — аналог выходного усилителя матрицы ПЗС. После того, как содержимое всех ведер последовательного конвейера будет поочередно измерено, очередной параллельный сдвиг переместит содержимое следующего ряда накопительных ведер в емкости последовательного регистра. Процесс будет повторяться, до тех пор, пока не будет измерено содержимое каждого ведра (пикселя).
Для создания матрицы ПЗС, использующейся для формирования изображений, существует множество способов объединения МОП-конденсаторов и управления напряжениями на их затворах. Как уже упоминалось, электроды затворов расположены в виде полосок, покрывающих всю рабочую поверхность матрицы ПЗС. Простейшей и наиболее распространенной конфигурацией для переноса заряда является трехфазная матрица ПЗС. В матрице такой конфигурации каждый из фотодиодов (пикселей) разделяется на три части, с тремя параллельными потенциальными ямами, ограниченными электродами затворов. В такой матрице каждый третий затвор включается в одну цепь формирователя тактовых импульсов. Базовый воспринимающий элемент матрицы ПЗС, соответствующий одному пикселю, состоит из трех затворов, подключенных к трем отдельным формирователям тактовых импульсов (синхроимпульсов), называемых синхроимпульсами фазы-1, фазы-2 и фазы-3. Каждая последовательность из трех параллельных затворов формирует однопиксельный регистр, а вся совокупность пикселей, покрывающих рабочую поверхность матрицы ПЗС, образует параллельный регистр устройства. Попав в потенциальную яму, электроны перемещаются через каждый пиксель в результате трехступенчатого процесса, который сдвигает зарядовый пакет от одного ряда пикселей к следующему. Последовательные изменения напряжения, прикладываемого к электродам параллельной (вертикальной) структуры затворов, перемещают потенциальные ямы и находящиеся в них электроны под управлением импульсов синхронизации параллельного регистра.
Общая схема синхронизации, использующаяся для трехфазного переноса, начинается с этапа интегрирования заряда, в течение которого для двух из трех параллельных фаз каждого пикселя задается положительное смещение, создающее область сильного поля относительно третьего затвора, на который подается низкий, или нулевой потенциал. Например, фазы 1 и 2 можно обозначить, как фазы накопления, и удерживать под высоким электростатическим потенциалом, относительно фазы 3, которая будет называться изолирующей фазой, и использоваться для изоляции заряда, накапливаемого высокопотенциальными фазами соседнего пикселя. По истечении времени интеграции заряда осуществляется его перенос, который начинается сохранением высокого потенциала только на затворах фазы-1, вследствие чего, под ними накапливаются формируемые в этой фазе заряды, а заряды, сформированные в фазах-2 и 3, находящихся в это время под нулевым потенциалом, быстро диффундируют в потенциальную яму под затвором фазы-1. На рисунке 3 представлена структура электродов, определяющих каждый из пикселей трехфазной матрицы ПЗС, и показано накопление электронов в потенциальной яме под электродом затвора фазы-1, находящимся под положительным потенциалом (+V). Перенос заряда осуществляется в соответствующим образом синхронизированной последовательности формирования напряжений, подаваемых на затворы, что вынуждает потенциальные ямы и изолирующие барьеры перемещаться по всем пикселям.
Рис. 4. Стандартные форматы фотоприемников на матрицах ПЗС (размеры в миллиметрах)
На каждом шаге переноса заряда на затвор потенциальной ямы, находящейся перед зарядовым пакетом, подается положительное напряжение, а на затвор потенциальной ямы, содержащей электроны — отрицательное, либо ноль (земля). В результате, накопленные электроны принудительно переносятся в элемент, тактируемый следующей фазой. С целью максимально эффективного переноса заряда, тактовые сигналы (уровни напряжения) соседствующих фаз переключаются не круто, а плавно и с некоторым перекрытием. Переход к фазе 2 осуществляется за счет подачи положительного потенциала на затворы фазы-2, в результате чего накопленный заряд распределяется между потенциальными ямами фазы-1 и фазы-2. Когда, после этого, потенциал фазы-1 становится равным потенциалу общей цепи (земли), весь зарядовый пакет переносится в фазу 2. Аналогичная последовательность переключений напряжения, синхронизированных с тактовым сигналом параллельного сдвигового регистра, используется для переноса заряда из фазы 2 в фазу 3; процесс продолжается до полного завершения сдвига одного пикселя. Подача одного трехфазного цикла синхронизации одновременно на весь параллельный регистр сдвигает всю матрицу на один ряд. Важное свойство трехфазного переноса состоит в постоянном наличии потенциального барьера между зарядовыми пакетами двух соседних пикселей, что обеспечивает взаимно однозначное пространственное соответствие пикселей фотоприемника и дисплея на протяжении всей последовательности формирования изображения.
Рисунок 6 иллюстрирует последовательность описанных выше операций по переносу заряда в трехфазной матрице ПЗС, а также последовательность импульсов управления сдвигом, формируемых тактовым генератором параллельного сдвигового регистра. На представленном схематичном изображении пикселя показан перенос заряда слева направо, под управлением тактовых сигналов, которые одновременно уменьшают напряжение на положительно смещенном электроде (определяющем потенциальную яму) и повышают на одном электроде справа (рисунки 6(a) и 6(b)). На последнем из трех шагов (рисунок 6©), заряд полностью переносится от одного затвора к другому. Следует отметить, что с целью повышения эффективности переноса и минимизации возможных потерь заряда, в процессе переключения высокие и низкие уровни импульсов синхронизации несколько перекрываются по времени (не показано).
В результате каждого полного параллельного переноса, зарядовые пакеты из одного ряда пикселей перемещаются в последовательный регистр, из которого они последовательно сдвигаются в выходной усилитель (см. пояснение на примере «пожарной цепочки», рисунок 5©). Для горизонтального (последовательного переноса) используется тот же трехфазный механизм зарядовой связи, что и для вертикального сдвига ряда.
Синхронизация, в этом случае, осуществляется сигналами тактового генератора последовательного регистра. После переноса всех зарядов из сдвигового регистра в модуль считывания, схема синхронизации параллельного регистра формирует сигналы перемещения в последовательный регистр очередного ряда накопленных фотоэлектронов. Из последовательного регистра каждый зарядовый пакет поступает в выходной модуль, где распознается и считывается выходным усилителем (иногда его называют встроенным в кристалл предусилителем), который преобразует заряд в пропорциональное напряжение. Выходное напряжение усилителя представляет собой величину сигнала, формируемого фотодиодами, по мере последовательного считывания их зарядов слева направо в каждом ряду, и сверху вниз по рядам двумерной матрицы. На этом этапе, на выходе матрицы ПЗС формируется аналоговый сигнал напряжения, эквивалентный растровой развертке накопленного заряда на рабочей поверхности устройства.
После того, как выходной усилитель усилит зарядовый пакет и преобразует его в пропорциональное напряжение, это напряжение подается на аналогово-цифровой преобразователь (АЦП), который преобразует его (напряжение) в двоичный код, состоящий из 0 и 1, и необходимый для интерпретации сигнала компьютером. Каждому пикселю присваивается значение, соответствующее амплитуде сигнала, с шагами дискретизации, соответствующими разрешающей способности, или битовой глубине АЦП. Например, 12-разрядный АЦП присваивает каждому пикселю значение из диапазона 0 — 4095, представляющего 4096 возможных уровней яркости изображения (2 в 12-й степени равно 4096 ступеням АЦП). Каждая ступень представления уровня яркости называется аналого-цифровой единицей (ADU).
Учитывая большое количество операций, требующихся для получения цифрового изображения, а также точность и скорость выполнения процесса, технологическое совершенство нынешних матриц ПЗС поражает. Ниже приведена последовательность операций, необходимых для формирования единичного изображения полнокадровой ПЗС-камерой. Открывается затвор камеры и начинается накопление фотоэлектронов; на электроды затворов предварительно поданы смещения, соответствующие фазе накопления заряда.
По окончании периода интегрирования закрывается затвор; под управлением сигналов синхронизации, формируемых электронным модулем камеры, накопленный в пикселях заряд построчно (рядами) сдвигается по параллельному регистру. Ряды зарядовых пакетов последовательно перемещаются из одного крайнего ряда параллельного регистра в последовательный сдвиговый регистр. Заряды пикселей, находящиеся в последовательном регистре, поочередно перемещаются в выходной модуль, где считываются встроенным в кристалл усилителем; этот усилитель усиливает электронный сигнал и преобразует его в аналоговое напряжение. АЦП присваивает каждому пикселю цифровое значение, соответствующее амплитуде сигнала (напряжения) этого пикселя. Значение каждого пикселя сохраняется в памяти компьютера или в буфере кадров камеры. Процесс последовательного считывания повторяется до считывания всех рядов пикселей параллельного регистра; камеры высокого разрешения содержат 1000 и более рядов пикселей. Хранящийся в памяти файл окончательного изображения (объемом до нескольких мегабайт) отображается в соответствующем формате на мониторе компьютера, с целью визуального анализа. С целью удаления остаточного заряда, перед очередной экспозицией выполняется полный цикл считывания матрицы ПЗС, за исключением этапа преобразования в цифровую форму.
Рис. 5. Интегрирование фотонно-индуцированного заряда
Несмотря на большое количество выполняемых операций, более одного миллиона пикселей могут быть перемещены по матрице, преобразованы в 12-разрядные цифровые коды яркости, занесены в память компьютера и отображены на его дисплее менее чем за одну секунду. Для считывания и отображения изображения 1-мегапиксельной камерой с частотой аналого-цифрового преобразования, равной 5 МГц, требуется около 0,5 секунды. Эффективность переноса заряда можно очень сильно повысить в охлаждаемых ПЗС-камерах. При этом, потери заряда, даже после нескольких тысяч переносов из наиболее удаленных от выходного усилителя областей матрицы, минимальны.
Архитектура фотоприемника на приборах с зарядовой связью (ПЗС)
В современных системах формирования изображений используются три основных варианта архитектуры матриц ПЗС: полнокадровая, с покадровым переносом и с построчным переносом (см. рисунок 7). Преимущество полнокадровой матрицы ПЗС, как уже упоминалось в описании процедуры считывания, заключается в практически 100-процентном использовании ее светочувствительной поверхности, на которой почти отсутствуют мертвые зоны между пикселями. На время считывания матрицы ПЗС ее рабочая поверхность должна быть защищена от света. Для этой цели, обычно, используется электромеханический затвор, управляющий экспозицией. После того, как затвор закроется, выполняется считывание и перенос заряда, накопленного за время экспозиции (время, в течение которого затвор остается открытым). Поскольку эти два процесса не могут происходить одновременно, скорость передачи кадров изображения ограничивается скоростью работы механического затвора, скоростью переноса заряда и количеством шагов в операции считывания. Хотя, полнокадровые устройства и обладают наибольшей из всех типов матриц ПЗС площадью светочувствительной поверхности, они более всего подходят для визуализации образцов с широким внутрикадровым динамическим диапазоном и для тех приложений, которые не требуют временнóго разрешения менее одной секунды. В режиме частичного использования матрицы (когда, с целью повышения скорости считывания, считывается только часть всего массива пикселей), максимально возможная скорость передачи информации составляет около 10 кадров в секунду, и ограничивается механическим затвором.
Камеры с покадровой передачей могут передавать информацию об изображении быстрее, чем полнокадровые устройства, поскольку при покадровой передаче экспозиция и считывание могут выполняться одновременно, с различной степенью временнóго перекрытия. По конструкции параллельного регистра они аналогичны полнокадровым устройствам, но одна половина прямоугольной матрицы пикселей закрывается непрозрачной маской и используется в качестве буфера хранения для фотоэлектронов, генерируемых открытой частью светочувствительной матрицы. По окончании экспонирования изображения, накопленный светочувствительными пикселями заряд быстро (обычно, за 1 миллисекунду) сдвигается в пиксели буферной части матрицы. Поскольку пиксели хранения защищены от воздействия света алюминиевым, или аналогичным непрозрачным покрытием, хранящийся в этой части матрицы заряд можно систематически считывать с более медленной скоростью, обеспечивающей меньшие потери заряда, а на светочувствительную часть матрицы в это время может экспонироваться очередное изображение. При этом становится ненужным затвор, поскольку время, необходимое для переноса изображения из области формирования в область хранения, составляет только часть времени типовой экспозиции (выдержки). Благодаря отсутствию в них механического затвора, камеры с матрицами покадрового переноса могут работать в непрерывном высокоскоростном режиме передачи кадров, и с успехом использоваться для исследований быстрых кинетических процессов, например, по методу, визуализации относительного содержания красителей, где важны пространственное разрешение и динамический диапазон. Недостаток фотоприемников такого типа заключается в использовании для формирования изображений только половины матрицы ПЗС. Вследствие этого кристалл имеет бóльшие, чем у полнокадрового устройства с эквивалентным фотоприемником, размеры, что удорожает камеру и накладывает ограничения на ее физическую конструкцию.
В матрице ПЗС с построчным переносом заряда, столбцы активных пикселей изображения и закрытые масками столбцы пикселей хранения-переноса чередуются по всему массиву параллельного регистра. Поскольку канал переноса непосредственно примыкает к каждому столбцу светочувствительных пикселей, для того, чтобы накопленный заряд попал в канал переноса его (заряд) необходимо сдвинуть всего на один столбец. Этот единственный шаг переноса можно выполнить менее чем за 1 миллисекунду, после чего матрица хранения считывается при помощи параллельных сдвигов в последовательный регистр, а массив светочувствительных пикселей в это время экспонируется очередным изображением. Благодаря электронному управлению интервалами экспонирования, архитектура с построчным переносом позволяет использовать очень малые времена интегрирования, а вместо использования механического затвора для защиты матрицы от света, ее можно эффективно сделать нечувствительной к свету путем сброса накопленного заряда, вместо сдвига его в каналы переноса. Хотя фотоприемники построчного переноса позволяют выполнять высококачественное считывание изображений ярко освещенных объектов на скоростях видеорежима, базовые модели ранних устройств страдали от узкого динамического диапазона, низкого разрешения и чувствительности, вследствие того, что около 75% поверхности матрицы ПЗС были заняты каналами хранения-переноса.
Несмотря на то, что ранние модели матриц ПЗС с построчным переносом, например, использующиеся в камкордерах, обеспечивают высокую скорость считывания и передачи кадров и не требуют применения затворов, они не обладают должными параметрами для использования в микроскопии высокого разрешения при низких уровнях освещенности. Помимо пониженной светочувствительности, свойственной конструкции с чередованием столбцов формирования изображения и столбцов хранения-переноса, высокие скорости считывания создавали сильные помехи и сужали динамический диапазон ранних моделей ПЗС-камер. Благодаря совершенствованию конструкций фотоприемников и электронных компонентов камер ситуация изменилась до такой степени, что современные построчные матрицы ПЗС обеспечивают цифровым камерам превосходные параметры, позволяющие использовать такие камеры в микроскопии, включая исследования с низкими уровнями освещенности, например, регистрацию малых концентраций флуоресцентных молекул. Прикрепленная микрооптика, отъюстированная на поверхности матрицы ПЗС, так чтобы охватить пары пикселей формирования-хранения сигнала, собирает световые потоки, которые, без этих линз, попали бы на закрытые пиксели и были бы потеряны, и фокусирует их на светочувствительные пиксели (см. рисунок 8). Благодаря сочетанию пикселей малых размеров и микролинз, фотоприемники с построчным переносом способны обеспечивать пространственное разрешение и эффективность использования светового потока, сравнимые с полнокадровыми и покадрового переноса матрицами ПЗС. Эффективная светочувствительная поверхность фотоприемников построчного переноса со встроенными микролинзами составляет 75–90% от площади поверхности.
Кроме того, встраивание микролинз в структуру матриц ПЗС позволяет расширить спектральную чувствительность фотоприемника в синюю и ультрафиолетовую области спектра. Это предоставляет дополнительные возможности в сфере коротковолновых приложений, например, в области популярных методик с использованием зеленого флуоресцентного белка (GFP) и красителей, возбуждаемых ультрафиолетовым излучением. С целью повышения квантового выхода в видимой части спектра, в новейшие высококачественные кристаллы встраиваются затворные структуры из материалов, обладающих высокой прозрачностью в сине-зеленом диапазоне спектра, например, из оксида индия и олова. Такие непоглощающие затворы позволяют приблизить квантовый выход в зеленой части спектра к 80%.
Рис. 6. Схема синхронизации трехфазной матрицы ПЗС
Прежние ограничения, связанные с узким динамическим диапазоном матриц ПЗС с построчным переносом, преодолены, главным образом, благодаря совершенствованию электронных компонентов, что позволило снизить шум чтения в камере почти в два раза. Поскольку активная площадь пикселей матрицы ПЗС с построчным переносом, примерно, в три раза меньше, чем у полнокадровых устройств, полная емкость потенциальной ямы (функция площади пикселя), аналогичным образом, меньше. В прошлом, этот фактор, вкупе со сравнительно высокими шумами камеры, был причиной узкого динамического диапазона, не позволявшего получать в результате аналогово-цифрового преобразования разрешение более 8–10 разрядов. Шумы считывания современных высококачественных камер с построчным переносом составляют не более 4–6 электронов, обеспечивая динамический диапазон, эквивалентный динамическому диапазону 12-разрядных камер с полнокадровыми матрицами ПЗС. Дополнительные усовершенствования схем синхронизации и электронных узлов камеры позволили повысить скорости считывания. Современные камеры построчного переноса позволяют получать 12-разрядные мегапиксельные изображения на частоте 20 МГц, что почти в четыре раза превышает аналогичный параметр полнокадровых камер с матрицами ПЗС сравнимых размеров. В некоторые конструкции матриц ПЗС построчного переноса вносятся и другие усовершенствования, включая изменение состава полупроводника, с целью повышения квантового выхода в ближней инфракрасной области спектра.
Функциональные характеристики фотоприемников на приборах с зарядовой связью
Некоторые рабочие параметры камеры, определяющие этап считывания в процессе формирования изображения, влияют на качество последнего. Скорость считывания в большинстве ПЗС-камернаучно-исследовательского класса регулируется, и находится, обычно, в диапазоне от 0,1 МГц до 10 — 20 МГц. Максимально возможная скорость зависит от скорости работы АЦП и других электронных компонентов камеры, определяющих время, необходимое для аналогово-цифрового преобразования одного пикселя. Для изучения быстрых кинетических процессов необходимы высокие скорости считывания и передачи кадров, позволяющие достичь требуемого временнóго разрешения. В некоторых ситуациях необходимо передавать видеоданные со скоростью 30 и более кадров в секунду. К сожалению, среди различных шумовых составляющих, которые всегда присутствуют в электронном изображении, основной компонентой является шум чтения, и с повышением скорости считывания уровень этой компоненты возрастает. Когда максимальное временнóе разрешение не требуется, улучшить изображение образца, создающего пиксели низкой интенсивности, можно за счет снижения скорости считывания до значения, обеспечивающего минимальный уровень помех при адекватном отношении сигнал/шум. В тех случаях, когда для исследования динамических процессов требуются высокие скорости формирования и передачи кадров изображения, можно изменить стандартную последовательность считывания, снизив количество обрабатываемых зарядовых пакетов, что, в некоторых случаях, позволяет повысить скорость формирования изображения до нескольких сотен кадров в секунду. Такого повышения скорости формирования и передачи кадров можно достичь за счет объединения пикселей во время считывания матрицы ПЗС и /или за счет считывания только части этой матрицы (см. ниже).
Программное обеспечение большинства использующихся в оптической микроскопии ПЗС-камер позволяет выделить из всей матрицы некоторое подмножество пикселей, или субматрицу, для получения и отображения изображений. При выделении (для обработки) только части поля изображения, не вошедшие в это поле пиксели не обрабатываются аналого-цифровым преобразователем, в результате чего скорость считывания повышается. В зависимости от используемой управляющей программы камеры, размер субматрицы можно выбрать из ряда стандартных значений, либо определить интерактивно, в виде области интереса, воспользовавшись компьютерной мышью и дисплеем. Метод выделения субматрицы считывания используется, обычно, для получения последовательностей изображений в заданный интервал времени, с тем, чтобы уменьшить размеры файлов изображений и упростить работу с ними.
В процессе считывания, накопленные зарядовые пакеты смежных пикселей матрицы ПЗС можно объединять и создавать меньшее количество суперпикселей. Этот процесс носит название бининг, и осуществляется в параллельном регистре, путем параллельного сдвига в последовательный регистр двух или более рядов, прежде чем выполнить процедуру последовательного сдвига и считывания. Процесс бининга, как правило, повторяется и в последовательном регистре, путем нескольких сдвигов зарядовых пакетов в модуль считывания, прежде чем результирующий заряд будет подан на вход выходного усилителя. Организовать можно любую комбинацию параллельных и последовательных сдвигов, однако, обычно, в каждый отдельный суперпиксель объединяют симметричную матрицу пикселей (см. рисунок 9). Например, для реализации бининга 3×3 сначала выполняются 3 операции параллельного сдвига (соответственно, трех рядов) в последовательный регистр. С этого момента каждый из пикселей последовательного регистра содержит объединенный заряд 3-х пикселей, которые соседствовали в смежных параллельных рядах. Затем, до измерения заряда, выполняются 3 такта последовательного сдвига в выходной модуль. Результирующий зарядовый пакет обрабатывается, как один пиксель, однако содержит фотоэлектроны 9-и физических пикселей (или суперпикселя формата 3×3). Хотя бининг и ухудшает пространственное разрешение, этот метод, зачастую, позволяет получать изображения в таких условиях, когда с использованием стандартной схемы считывания сделать это просто невозможно. Кроме того, бининг позволяет повышать скорость передачи кадров последовательностей изображений, когда эта скорость ограничивается циклом чтения, который задает камера. Помимо этого, при равных временах выдержки бининг обеспечивает лучшее отношение сигнал/шум. Среди дополнительных преимуществ, следует отметить более короткое время экспонирования, требующееся для получения изображений определенной яркости (чрезвычайно важное качество для съемки живых клеток), а также меньшие размеры файлов изображений, что снижает требования к объему ресурсов хранения компьютера и ускоряет обработку изображений.
Третьим фактором формирования изображений в камере, который может влиять на качество изображения, поскольку изменяет процесс считывания информации с матрицы ПЗС, является коэффициент передачи (усиления) электронной системы камеры. Настройка коэффициента передачи цифровой ПЗС-камеры устанавливает, какое количество накопленных фотоэлектронов определяет каждую из ступеней уровня яркости, которую способна различить система считывания, и применяется, как правило, на этапе аналого-цифрового преобразования. Увеличение коэффициента усиления соответствует уменьшению количества фотоэлектронов, приходящихся на одну градацию яркости (количество электронов/ADU), и позволяет разделить данный сигнал на большее количество уровней яркости. Отметим, что этот метод отличается от выбора коэффициента усиления в фотоумножителях и в видиконах, где изменяющийся сигнал усиливается с определенным коэффициентом. Хотя регулировка усиления и предоставляет метод увеличения ограниченной амплитуды сигнала до требуемого количества уровней яркости, слишком малое количество электронов, которым будут отличаться смежные уровни яркости в результате чрезмерного повышения этого коэффициента, может приводить к ошибкам аналого-цифрового преобразования. Высокий коэффициент усиления может стать причиной возникновения шумов из-за ошибок аналого-цифрового преобразования, которые будут проявляться в виде зернистости конечного изображения. В том случае, когда требуется сократить время экспонирования, повышение коэффициента передачи позволяет сохранить неизменным количество уровней яркости, несмотря на снижение уровня сигнала, при условии, что такое повышение не приведет к чрезмерному ухудшению качества изображения. В качестве примера влияния применения различных коэффициентов усиления к сигналу постоянного уровня, рассмотрим вариант, когда исходное значение коэффициента усиления, при котором каждой единице ADU (уровню яркости) соответствуют 8 электронов, определяет, что сигнал пикселя, содержащего 8000 электронов, будет отображаться с использованием 1000 уровней яркости. В результате увеличения исходного коэффициента усиления в 4 раза, количество электронов, соответствующих одному уровню яркости, уменьшится до 2 (2 электрона/ADU), и система аналого-цифрового преобразования будет различать 4000 уровней яркости.
Рис. 7. Типовые архитектуры приборов с зарядовой связью (ПЗС)
Качество цифрового изображения можно оценить по четырем количественно-измеримым критериям, которые определяются, частично конструкцией матрицы ПЗС, а также отражают реализацию уже упоминавшихся рабочих параметров камеры, непосредственно влияющих на рабочие характеристики ПЗС-фотоприемника. Ниже перечислены основные критерии качества изображения и характер их проявления.
Пространственное разрешение. Определяет способность визуализировать мельчайшие детали образца, без проявления пикселей на изображении.
Разрешение по интенсивности освещения. Определяет динамический диапазон или количество уровней яркости (градаций серого цвета), различимых на отображаемом изображении.
Временнóе разрешение. Частота дискретизации (скорость передачи кадров) определяет способность отслеживать перемещение живого образца или быстрые кинетические процессы.
Отношение сигнала к шуму. Определяет различимость и чистоту сигналов от образца, относительно фона изображения.
При формировании изображений в микроскопии, как правило, невозможно одновременно оптимизировать все важные критерии обеспечения качества одного изображения, или последовательности изображений. Получение изображений наилучшего качества, в рамках ограничений, накладываемых конкретным образцом или экспериментом, требует, как правило, отыскания компромисса между перечисленными критериями, которые, зачастую, выдвигают противоречивые требования. Например, получение в заданный интервал времени последовательности изображений живых флуоресцентно-помеченных образцов, может потребовать сокращения общего времени экспонирования, чтобы минимизировать фотообесцвечивание и фототоксичность. Решить такую задачу можно несколькими способами, хотя, каждый из них влечет ухудшение того или иного параметра получения изображения. Менее частое экспонирование образца ухудшает временнóе разрешение; использование бининга для сокращения интервалов экспонирования снижает пространственное разрешение; увеличение коэффициента передачи сужает динамический диапазон и ухудшает отношение сигнал/шум. Для получения оптимальных результатов в различных ситуациях часто требуются совершенно разные подходы к получению изображений. В отличие от предыдущего примера, чтобы достичь максимального динамического диапазона для единственного изображения образца, требующего короткой экспозиции, использование бининга, или повышение коэффициента передачи, может решить поставленную задачу, не оказывая значительного отрицательного влияния на качество изображения. Для квалифицированного выполнения цифровой визуализации требуется доскональное знание решающих критериев качества изображения, а также практических аспектов сбалансированной настройки рабочих параметров камеры, с целью максимального удовлетворения наиболее важных для конкретной ситуации требований.
Основные аспекты качества цифрового изображения в микроскопии определяются всего лишь несколькими основными параметрами матрицы ПЗС и камеры, причем, эти параметры чрезвычайно сильно взаимосвязаны. К наиболее важным факторам, в контексте практического использования ПЗС-камер, следует отнести источники шумов фотоприемника и отношение сигнал/шум, скорость передачи кадров и временнóе разрешение, размер пикселя и пространственное разрешение, спектральный диапазон, квантовый выход и динамический диапазон.
.png)
