Пзс- и кмоп-сенсоры для цифровых фото- и видеокамер. Матрицы камер видеонаблюдения
История появления CCD
Приборы с зарядовой связью (ССD) были изобретены Уиллардом Бойлом и Джордж Э. Смитом в компании Bell Labs в 1969 году. Первоначально, Бойл и Смит считали это изобретение как новый тип компьютерной схемы памяти. Схема заряжается светом, и благодаря кремнию, ССD очень чувствительна к свету. При этом Бойл и Смит знали, что ССD могла захватить лучшие изображения, если их поместить внутрь камеры. Чем больше света, здесь собирается тем более четкое и точное изображение появится. Когда появились цифровые камеры, ССD датчики были помещены внутри них, для того чтобы захватывать свет.Принцип работы CCD
Сегодня большинство цифровых домашних камер обладают ССD сенсором. Когда свет собирается в камере и помещается на кремнии, создавая образ, датчик преобразует свет в электрический заряд, или электроны, которые позволяют свету превратиться в цифровое изображение. Наиболее описание этого процесса заключается в том, что после открытия затвора камеры, на кремний CCD воздействует свет, этот свет превращается в электроны, которые преобразуются в цифровой сигнал, и этот сигнал захватывается в память и отображается на печати с экрана фотокамеры.
Опции CCD камеры
Все CCD камеры обеспечивают высокое качество с низким уровнем шумности, с высокой светочувствительностью и высоким количеством пикселей. Все цифровые камеры излучают свет в красном, зеленом и синем оттенках, но качество изображения зависит от качества камеры, которую вы покупаете. ССD -камеры содержат 2:59 CCD массивов. Одна ССD матрица расшифровывает всех три оттенка, что делает их более трудными для отделения каждого оттенка от другого. Камеры с одной ССD-матрицей обычно используются для систем безопасности или для других целей, где необходимы точные цвета. Камеры с тремя ССD матрицами обеспечивают один массив для каждого оттенка, что позволяет получить больше точности для получения окончательного результата.Научные разработки
Хотя большинство цифровых камер содержат датчик изображения CCD, высокотехнологичные ССD-камеры очень популярны в биологии и астрофотографии и используются в телескопах Хаббл. CCD камеры позволяют длительное время удерживать экспозицию при съемке в телескопе. Камера заменяет окуляр телескопа, и она подключается к компьютеру. Кадры снимаются быстро они захватывают большой диапазон яркости и могут сливаться в одно изображение. ССD-камеры реагируют почти на 70 процентов от имеющегося света, по сравнению с двумя процентами, того что могут снять традиционные камеры в ночном небе. Так как эти камеры гораздо более продвинутые, их стоимость колеблется от 500 $ до 10000 $.Впервые принцип ПЗС с идеей сохранять и затем считывать электронные заряды был разработан двумя инженерами корпорации BELL в конце 60-х годов в ходе поиска новых типов памяти для ЭВМ, способных заменить память на ферритовых кольцах (да – да, была и такая память). Эта идея оказалась бесперспективной, но способность кремния реагировать на видимый спектр излучения была замечена и мысль использовать этот принцип для обработки изображений получила своё развитие.
Начнем с расшифровки термина.
Аббревиатура ПЗС означает "Приборы с Зарядовой Связью" - этот термин образовался от английского "Сharge-Сoupled Devices" (CCD).
Данный тип приборов в настоящее время имеет очень широкий круг применений в самых различных оптоэлектронных устройствах для регистрации изображения. В быту это цифровые фотоаппараты, видеокамеры, различные сканеры.
Что же отличает ПЗС-приемник от обычного полупроводникового фотодиода, имеющего светочувствительную площадку и два электрических контакта для съема электрического сигнала?
Во-первых , таких светочувствительных площадок (часто их называют пикселами - элементами, принимающими свет и преобразующими его в электрические заряды) в ПЗС-приемнике очень много, от нескольких тысяч до нескольких сотен тысяч и даже нескольких миллионов. Размеры отдельных пикселов одинаковы и могут быть от единиц до десятков микрон. Пиксели могут быть выстроены в один ряд - тогда приемник называется ПЗС-линейкой, или ровными рядами заполнять участок поверхности - тогда приемник называют ПЗС-матрицей.
Раcположение светоприемных элементов (прямоугольники синего цвета) в ПЗС-линейке и ПЗС-матрице.
Во-вторых , в ПЗС-приёмнике, внешне похожем на обычную микросхему, нет огромного числа электрических контактов для вывода электрических сигналов, которые, казалось бы, должны идти от каждого светоприемного элемента. Зато к ПЗС-приемнику подключается электронная схема, которая позволяет извлекать с каждого светочувствительного элемента электрический сигнал, пропорциональный его засветке.
Действие ПЗС можно описать следующим образом: каждый светочувствительный элемент - пиксель - работает как копилка для электронов. Электроны возникают в пикселях под действием света, пришедшего от источника. В течение заданного интервала времени каждый пиксель постепенно заполняется электронами пропорционально количеству попавшего в него света, как ведро, выставленное на улицу во время дождя. По окончании этого времени электрические заряды, накопленные каждым пикселем, по очереди передаются на "выход" прибора и измеряются. Все это возможно за счет определенной структуры кристалла, где размещаются светочувствительные элементы, и электрической схемы управления.
Практически точно так же работает и ПЗС-матрица. После экспонирования (засветки проецируемым изображением) электронная схема управления прибором подаёт на него сложный набор импульсных напряжений, которые начинают сдвигать столбцы с накопленными в пикселях электронами к краю матрицы, где находится аналогичный измерительный ПЗС-регистр, заряды в котором сдвигаются уже в перпендикулярном направлении и попадают на измерительный элемент, создавая в нем сигналы, пропорциональные отдельным зарядам. Таким образом, для каждого последующего момента времени мы можем получить значение накопленного заряда и сообразить, какому пикселю на матрице (номер строки и номер столбца) он соответствует.
Кратко о физике процесса.
Для начала отметим, что ПЗС относятся к изделиям так называемой функциональной электроники, Их нельзя представить как совокупность отдельных радиоэлементов - транзисторов, сопротивлений и конденсаторов. В основе работы лежит принцип зарядовой связи. Принцип зарядовой связи использует два известных из электростатики положения:
- одноимённые заряды отталкиваются,
- заряды стремятся расположиться там, где их потенциальная энергия минимальна. Т.е. грубо – «рыба ищет там, где глубже».
Для начала представим себе МОП-конденсатор (МОП - сокращение от слов металл-окисел- полупроводник). Это то, что остаётся от МОП-транзистора, если убрать из него сток и исток, то есть просто электрод, отделённый от кремния слоем диэлектрика. Для определённости будем считать, что полупроводник - p-типа, т. е. концентрация дырок в равновесных условиях много (на несколько порядков) больше, чем электронов. В электрофизике «дыркой» называют заряд, обратный заряду электрона, т.е. положительный заряд.
Что будет, если на такой электрод (его называют затвором) подать положительный потенциал? Электрическое поле, создаваемое затвором, проникая в кремний сквозь диэлектрик, отталкивает подвижные дырки; возникает обеднённая область - некоторый объём кремния, свободный от основных носителей. При параметрах полупроводниковых подложек, типичных для ПЗС, глубина этой области составляет около 5 мкм. Напротив, электроны, возникшие здесь под действием света, притянутся к затвору и будут накапливаться на границе раздела окисел-кремний непосредственно под затвором, т. е. сваливаются в потенциальную яму (рис. 1).
Рис. 1
Образование потенциальной ямы
при приложении напряжения к затвору
При этом электроны по мере накопления в яме частично нейтрализуют электрическое поле, создаваемое в полупроводнике затвором, и в конце концов могут полностью его скомпенсировать, так что всё электрическое поле будет падать только на диэлектрике, и всё вернётся в исходное состояние - за тем исключением, что на границе раздела образуется тонкий слой электронов.
Пусть теперь рядом с затвором расположен ещё один затвор, и на него тоже подан
положительный потенциал, причём больший, чем на первый (рис. 2). Если только
затворы расположены достаточно близко, их потенциальные ямы объединяются, и
электроны, находящиеся в одной потенциальной яме, перемещаются в соседнюю, если
она «глубже».
Рис. 2
Перекрытие потенциальных ям двух близко расположенных затворов.
Заряд перетекает в то место, где потенциальная яма глубже.
Теперь уже должно быть ясно, что если мы имеем цепочку затворов, то можно, подавая на них соответствующие управляющие напряжения, передавать локализованный зарядовый пакет вдоль такой структуры. Замечательное свойство ПЗС - свойство самосканирования - состоит в том, что для управления цепочкой затворов любой длины достаточно всего трёх тактовых шин. (Термин шина в электронике - проводник электрического тока, соединящиий однотипные элементы, тактовая шина - проводники по которым передается смещенное по фазе напряжение.) Действительно, для передачи зарядовых пакетов необходимо и достаточно трёх электродов: одного передающего, одного принимающего и одного изолирующего, разделяющего пары принимающих и передающих друг от друга, причём одноимённые электроды таких троек могут быть соединены друг с другом в единую тактовую шину, требующую лишь одного внешнего вывода (рис. 3).
Рис. 3
Простейший трёхфазный ПЗС-регистр.
Заряд в каждой потенциальной яме разный.
Это и есть простейший трёхфазный регистр сдвига на ПЗС. Тактовые диаграммы работы такого регистра показаны на рис. 4.
Рис. 4
Тактовые диаграммы управления трёхфазным регистром -- это три меандра,
сдвинутые на 120 градусов.
При смене потенциалов происходит передвижение зарядов.
Видно, что для его нормальной работы в каждый момент времени, по крайней мере, на одной тактовой шине должен присутствовать высокий потенциал, и, по крайней мере, на одной - низкий потенциал (потенциал барьера). При повышении потенциала на одной шине и понижении его на другой (предыдущей) происходит одновременная передача всех зарядовых пакетов под соседние затворы, и за полный цикл (один такт на каждой фазной шине) происходит передача (сдвиг) зарядовых пакетов на один элемент регистра.
Для локализации зарядовых пакетов в поперечном направлении формируются так называемые стоп-каналы - узкие полоски с повышенной концентрацией основной легирующей примеси, идущие вдоль канала переноса (рис. 5).
Рис. 5.
Вид на регистр "сверху".
Канал переноса в боковом направлении ограничивается стоп-каналами.
Дело в том, что от концентрации легирующей примеси зависит, при каком конкретно напряжении на затворе под ним образуется обеднённая область (этот параметр есть не что иное, как пороговое напряжение МОП-структуры). Из интуитивных соображений понятно, что чем больше концентрация примеси, т. е. чем больше дырок в полупроводнике, тем труднее их отогнать вглубь, т. е. тем выше пороговое напряжение или же, при одном напряжении, тем ниже потенциал в потенциальной яме.
Проблемы
Если при производстве цифровых приборов разброс параметров по пластине может достигать нескольких крат без заметного влияния на параметры получаемых приборов (поскольку работа идёт с дискретными уровнями напряжения), то в ПЗС изменение, скажем, концентрации легирующей примеси на 10% уже заметно на изображении. Свои проблемы добавляет и размер кристалла, и невозможность резервирования, как в БИС памяти, так что дефектные участки приводят к негодности всего кристалла.
Итог
Разные пикселы ПЗС матрицы технологически имеют разную чувствительность к свету и эту разницу необходимо корректировать.
В цифровых КМА эта коррекция называется системой Auto Gain Control (AGC)
Как работает система AGC
Для простоты рассмотрения не будем брать что-то конкретное. Предположим, что на выходе АЦП узла ПЗС есть некие потенциальные уровни. Предположим, что 60 - средний уровень белого.
- Для каждого пикселя линейки ПЗС считывается значение при освещении его эталонным белым светом (а в более серьезных аппаратах – и считывание «уровня черного»).
- Значение сравнивается с опорным уровнем (например, средним).
- Разница между выходным значением и опорным уровнем запоминается для каждого пиксела.
- В дальнейшем, при сканировании эта разница компенсируется для каждого пиксела.
Инициализация системы AGC производится каждый раз при инициализации системы сканера. Наверное, вы замечали, что при включении машины через какое-то время каретка сканера начинает совершать поступательно-возвратные движения (елозить у ч/б полоски). Это и есть процесс инициализации системы AGC. Система так же учитывает и состояние лампы (старение).
Так же Вы наверняка обращали внимание, что малые МФУ, снабженные цветным сканером, «зажигают лампу» тремя цветами по очереди: красным, синим и зеленым. Затем только подсветка оригинала зажигается белым. Это сделано для лучшей коррекции чувствительности матрицы раздельно по каналам RGB.
Тест полутонов (SHADING TEST) позволяет инициировать эту процедуру по желанию инженера и привести значения корректировки к реальным условиям.
Попробуем рассмотреть все это на реальной, «боевой» машине. За основу возьмем широкоизвестный и популярный аппарат SAMSUNG SCX-4521 (Xerox Pe 220).
Необходимо отметить, что в нашем случае CCD становится CIS (Contact Image Sensor), но суть происходящего в корне от этого не меняется. Просто в качестве источника света используются линейки светодиодов.
Итак:
Сигнал изображения от CIS имеет уровень около 1,2 В и поступает на АЦП-секцию (САЦП) контроллера аппарата (САЦП). После САЦП аналоговый сигнал CIS будет преобразован в 8-битовый цифровой сигнал.
Процессор обработки изображения в САЦП прежде всего использует функцию коррекции тона, а затем функцию гамма-коррекции. После этого данные подаются на различные модули в соответствии с режимом работы. В режиме Text данные изображения поступают на модуль LAT, в режиме Photo данные изображения поступают на модуль "Error Diffusion", в режиме PC-Scan данные изображения поступают прямо на персональный компьютер через доступ DMA.
Перед осуществлением тестирования положите на стекло экспонирования несколько чистых листов белой бумаги. Само собой разумеется, что оптика, ч/б полоса и вообще узел сканера изнутри должны быть предварительно «вылизаны»
- Выберите в TECH MODE
- Нажмите кнопку ENTER (Ввод) для сканирования изображения.
- После сканирования будет распечатан "CIS SHADING PROFILE" (профиль полутонов CIS). Пример такого листа приведен ниже. Не обязательно, что он должен быть копией Вашего результата, но близок по изображению.
- Если распечатанное изображение сильно отличается от изображения, показанного на рисунке, значит CIS неисправен. Обратите внимание – внизу листа отчета написано “Results: OK”. Это означает, что система серьезных претензий к модулю CIS не имеет. В противном случае будут даны результаты ошибок.
Пример распечатки профиля:
Удачи Вам!!
За основу взяты материалы статей и лекций преподавателей СПбГУ (ЛГУ), СПбЭТУ (ЛЭТИ) и Axl. Спасибо им.
Материал подготовлен В. Шеленбергом
1. Введение в датчики изображений
Когда изображение объективом видеокамеры, свет проходит через линзы и падает на датчик изображения. Датчик изображения, или матрица, состоит из множества элементов, также называемых пикселями, которые регистрируют количество света, упавшего на них. Полученное количество света пиксели преобразуют в соответствующее количество электронов. Чем больше света упадет на пиксель, тем больше электронов он сгенерирует. Электроны преобразуются в напряжение, а затем конвертируются в числа, согласно значениям АЦП (Аналого-Цифровой Преобразователь, A/D-converter). Сигнал, составленный из таких чисел, обрабатывается электронными цепями внутри видеокамеры.
В настоящее время, существует две основные технологии, которые могут быть использованы при создании датчика изображения в камере, это CCD (Charge-Coupled Device, ПЗС - прибор с зарядовой связью) и CMOS (Complimentary Metal-Oxide Semiconductor, КМОП - комплементарный металлооксидный полупроводник). Их характеристики, достоинства и недостатки будут рассмотрены в данной статье. На рисунке ниже изображены ПЗС (наверху) и КМОП (внизу) датчики изображений.
Цветовая фильтрация . Как уже было описано выше, датчики изображений регистрируют объем света, упавшего на них, от светлого до темного, но без цветовой информации. Поскольку КМОП и ПЗС датчики изображений «не видят цвет», перед каждым из датчиков ставится фильтр, позволяющий присвоить каждому пикселю в датчике цветовой тон. Два основных метода цветовой регистрации это RGB (Red-Greed-Blue, Красный-Зеленый-Синий) и CMYG (Cyan-Magenta-Yellow-Green, Голубой-Пурпурный-Желтый-Зеленый). Красный, зеленый и синий являются основными цветами, различные комбинации которых могут составить большинство цветов, воспринимаемых глазом человека.
Фильтр Байера (или массив Байера, англ. Bayer array), состоящий из сменяющих друг друга строк красно-зеленых и сине-зеленых фильтров, является наиболее распространенным RGB-цветовым фильтром (см. Рис. 2). Фильтр Байера содержит удвоенное количество зеленых «ячеек», т.к. человеческий глаз более чувствителен к зеленому цвету, а не красному или синему. Это также означает, что, при таком соотношении цветов в фильтре, человеческий глаз увидит больше деталей, чем если бы три цвета использовались в равной пропорции в фильтре.
Другой способ фильтровать (или регистрировать) цвет - использовать дополнительные цвета - голубой, пурпурный и желтый. Фильтр из дополнительных цветов обычно комбинируется с зеленым цветовым фильтром в форме CMYG-цветового фильтра (CMYG-color array), как показано на рисунке 2 (справа). CMYG-цветовой фильтр обычно предлагает более высокий сигнал пикселя, т.к. обладает более широкой спектральной полосой пропускания. Тем не менее, сигнал должен быть преобразован в RGB для использования в итоговом изображении, а это влечем за собой дополнительную обработку, и вносит шумы. Следствием этого является снижение отношения сигнал-шум, поэтому CMYG-системы, как правило, не столь хороши при передаче цветов.
CMYG-цветовой фильтр обычно используется в датчиках изображения с чересстрочной разверткой, в то время как RGB-системы в первую очередь используются в датчиках изображения с прогрессивной разверткой.
2. CCD-технология
В CCD-сенсоре, свет (заряд), падающий на пиксель сенсора, передается от микросхемы через один выходной узел, или через всего лишь несколько выходных узлов. Заряды преобразуются в уровень напряжения, накапливаются и рассылаются как аналоговый сигнал. Этот сигнал затем суммируется и преобразуется в числа аналого-цифровым преобразователем, вне сенсора (см. рис. 3).
CCD-технология была изобретена специально для использования в видеокамерах, и CCD-сенсоры используются на протяжении 30 лет. Традиционно, у CCD-сенсоров есть ряд преимуществ перед CMOS-сенсорами, а именно лучшая светочувствительность и низкий уровень шумов. В последнее время, однако, различия едва заметны.
Недостатки CCD-сенсоров заключаются в том, что они являются аналоговыми компонентами, что требует наличия большего числа электроники «около» сенсора, они дороже в производстве и могут потреблять до 100 раз больше энергии, чем CMOS-сенсоры. Повышенное энергопотребление может также привести к повышению температуры в самой камере, что негативно сказывается не только на качестве изображения и увеличивает стоимость конечного продукта, но и степень воздействия на окружающую среду.
CCD-сенсоры также требуют более скоростную передачу данных, т.к. все данные проходят через всего лишь через один или несколько выходных усилителей. Сравните рисунки 4 и 6, показывающие платы с CCD-сенсором и CMOS-сенсором соответственно.
3. CMOS-технология
На ранней стадии, обычные CMOS-чипы использовались для отображения, однако качество картинки было низким, в связи с низкой световой чувствительностью КМОП-элементов. Современные CMOS-сенсоры изготавливаются по более специализированной технологии, что привело к стремительному росту качества изображения и светочувствительности за последние годы.
CMOS-чипы обладают рядом преимуществ. В отличие от CCD-сенсоров, CMOS-сенсоры содержат в себе усилители и аналого-цифровые преобразователи, что значительно снижает стоимость конечного продукта, т.к. он уже содержит все необходимые элементы для получения изображения. Каждый CMOS-пиксель содержит электронные преобразователи. По сравнению с CCD-сенсорами, CMOS-сенсоры обладают большим функционалом и более широкими возможностями интеграции. Из других преимуществ следует также отметить более быстрое считывание, меньшее потребление энергии, высокую сопротивляемость шумам и меньший размер системы.
Тем не менее, наличие электронных схем внутри чипа приводит к риску появления более структурированного шума, например полос. Калибровка CMOS-сенсоров при производстве также более сложна, по сравнению в CCD-сенсорами. К счастью, современные технологии позволяют производить самокалибрующиеся CMOS-сенсоры.
В CMOS-сенсорах существует возможность считывания изображения с отдельных пикселей, что позволяет «оконизировать» изображение, т.е. считывать показание не всего сенсора, а лишь его определенного участка. Таким образом, можно получить большую частоту кадров с части сенсора для последующей цифровой PTZ (англ. pan/tilt/zoom, панорама/наклон/масштаб) обработки. Кроме того, это дает возможность передавать несколько видеопотоков с одного CMOS-сенсора, имитируя несколько «виртуальных камер»
4. HDTV и мегапиксельные камеры
Мегапиксельные сенсоры и телевиденье высокой четкости позволяет цифровым IP-камерам обеспечивать более высокое разрешение изображения, чем аналоговые CCTV-камеры, т.е. они дают большую возможность различить детали и идентифицировать людей и объекты - ключевой фактор в видеонаблюдении. Мегапиксельная IP-камера обладает как минимум вдвое большей разрешающей способностью, по сравнению с аналоговой CCTV-камерой. Мегапиксельные сенсоры являются ключевым моментов в телевидении высокой четкости, мегапиксельных и мульти-мегапиксельных камерах. И могут быть использованы для обеспечения экстремально высокой детализации изображения и многопотокового видео.
Мегапиксельные CMOS-сенсоры более широко распространены и гораздо дешевле чем мегапиксельные CCD-сенсоры, несмотря на то, что есть и довольно дорогие CMOS-сенсоры.
Сложно изготовить быстрый мегапиксельный CCD-сенсор, что конечно же является недостатком, и следовательно сложно изготовить мульти-мегапиксельную камеру с использованием CCD-технологии.
Большинство сенсоров в мегапиксельных камерах в целом аналогичны по размеру изображения VGA-сенсорам, с разрешением 640х480 пикселей. Однако мегапиксельный сенсор содержит больше пикселей, чем VGA-сенсор, соответственно размер каждого пикселя в мегапиксельном сенсоре меньше размера пикселя в VGA-сенсоре. Следствием этого является меньшая светочувствительность каждого пикселя в мегапиксельном сенсоре.
Так или иначе, прогресс не стоит на месте. Идет стремительное развитие мегапиксельных сенсоров, и их светочувствительность постоянно возрастает.
5. Основные отличия
CMOS-сенсоры содержат в себе усилители, А/Ц-преобразователи и часто микросхемы дл дополнительной обработки, в то время как в камере с CCD-сенсором большинство функций по обработке сигнала проводятся за пределами сенсора. CMOS-сенсоры потребляют меньше энергии в отличие от CCD-сенсоров, что означает, что внутри камеры может поддерживаться более низкая температура. Повышенная температура CCD-сенсоров может увеличить интерференцию. С другой стороны CMOS-сенсоры могут страдать от структурированного шума (полосы и т.д.).
CMOS-сенсоры поддерживают «оконизацию» изображения и многопотоковое видео, что невозможно в CCD-сенсорах. CCD-сенсоры обладают как правило одним А/Ц-преобразователем, в то время как в CMOS-сенсорах им обладает каждый пиксель. Более быстрое считывание в CMOS-сенсорах позволяет их использовать при изготовлении мульти-мегапиксельных камер.
Современные технологические достижения стирают разницу в светочувствительности между CCD- и CMOS-сенсорами.
6. Заключение
CCD и CMOS-сенсоры обладают различными преимуществами и недостатками, но технологии стремительно развиваются и ситуация постоянно меняется. Вопрос о том выбрать ли камеру с CCD-сенсором или с CMOS-сенсором становится несущественным. Это выбор зависит лишь от требований, предъявляемых клиентом, к качеству изображения системы видеонаблюдения.