K230 ISP初始化配置指南#

1. K230 ISP初始化配置概述#

在图像调优后，所形成的ISP配置参数，需要写入相应sensor的初始化配置文件中。开机时，ISP会自动调用这些配置文件中的设置完成初始化。当模块自适应功能使能时，ISP将按该模块自适应功能的设置进行运行。 ISP初始化配置有三个文件：xml、manaual.json和auto.json，若sensor可选不同分辨率，则不同分辨率下都需有这三个配置文件。这些配置文件都存放于\k230_sdk\src\big\mpp\userapps\src\sensor\config目录下。

2. xml文件#

2.1 概述#

可使用K230 ISP Calibration Tool(K230ISPCalibrationTool.exe)生成xml文件，工具中所有模块的校准都需要完成，以得到完整的校准数据。

xml文件中包含的数据有两个来源：

使用Calibration Tool得到的校准结果
工具发布包中提供的专业数据文件

校准数据及校准参数文件存放的位置，如下表所示：

校准数据	生成方法或参数文件	校准参数文件位置
Auto White Balance	Calibration Tool	sensor/lens/sample/AWB/
Black Level Calibration	Calibration Tool	sensor/lens/sample/BlackLevel/
Chromatic Aberration	Calibration Tool	sensor/lens/sample/Calibration Tool/ChromaticAberration/
Color Calibration	Calibration Tool	sensor/lens/sample/Calibration Tool/ColorReproduction/
Defect Pixel Color Correction	dpcc_para.txt	sensor/lens/sample/Calibration Tool/DefectPixel/
Auto Exposure Calibration	aec_para.m; k_para.txt	sensor/lens/sample/Calibration Tool/ExposureCalibration/
HDR	hdr_para.txt	sensor/lens/sample/Calibration Tool/HDR/
Lens Shading Correction	Calibration Tool	sensor/lens/sample/Calibration Tool/LensShading/
Noise Calibration	Calibration Tool	sensor/lens/sample/Calibration Tool/Noise/
Photo Response Linearity	degamma_para.txt	sensor/lens/sample/Calibration Tool/PhotoResponseLinearity/

2.2 为校准参数创建校准文件文件夹#

请按照以下步骤为每个分辨率创建文件夹：

使用sensor名称创建文件夹 (如：/OV9732)
使用镜头名称创建文件夹 (如：/2MP)
使用样本名称创建文件夹 (如：/01_30)
为每个校准功能创建子文件夹 (如下图所示)
将校准参数文件复制到相应的参数文件夹中

对于每个分辨率，示例如下:

sensor
- lens
  - sample
    - AWB
      - AWB parameters.txt
      - AWB parameters.mat
    - BlackLevel
      - BLS parameters.txt
    - …

2.3 使用K230 ISP Calibration Tool生成xml文件#

将所有校准参数文件复制到相应文件夹后, 打开K230 ISP Calibration Tool，用其生成xml文件。

如下图所示，点击主界面“7. XML Generator”按钮：

主界面

弹出如图所示“XML Generator”对话框：

选取生成XML文件

在“Data Location”栏中选择正确的标定目录地址，在“Sensor”选择创建的sensor文件夹，“Lens”选择栏中选择创建的镜头文件夹，“Data”栏中选择创建的样本文件夹。

在“Resolution”栏中输入图片正确的Width和Height，“Format”栏中选择“XML”, “Creator”栏中输入创建者名称，然后点击“Manually Generate”，即可在所选的镜头文件夹下生成“XML”子目录，该目录中将生成.xml文件。

XML文件夹

将生成的xml文件，按K230 SDK代码中输入的xml名称改名后(如ov9732-1280x720.xml)，放入config目录下,即可被K230 SDK正确调用。

2.4 AWB参数K_Factor#

在xml文件中awb子段中有一个K_Factor参数需要另行标定和手动填入。该参数反馈了摄像模组的感光灵敏度。

在AWB算法中，环境为outdoor的判别为: Exp*K_Factor <=0.12（Exp为曝光量）。

比如以2000 lux为outdoor与transition的环境照度分割点，获取对应该照度的曝光值(ET * gain)，则可计算：K_Factor = 0.12 / (ET*gain)。

3. manual.json文件#

manual.json文件需手动创建。请参考imx335-2592x1944_manual.json文件创建所需sensor分辨率的manual.json文件。

3.1 CHdrv2#

3.1.1 功能描述#

该模块为未包含在其它ISP模块下的HDR mode参数的设置。

3.1.2 主要参数#

参数	类型及取值范围	描述
base_frame	int 0~1	0: S帧为参考帧; 1: L帧为参考帧。推荐设置为0.
bls_out	int[4]	Black level out 默认配置为[0,0,0,0], 设置值基于ISP 12bits
bypass	bool	false: 经过HDR模块 true: 不经过HDR模块
bypass_select	int 0~2	0: HDR模块输出L帧; 1: HDR模块输出S帧; 2: HDR模块输出VS帧
color_weight	int[3] 0~255	color_weight stitch_color_weight0+stitch_color_weight1*2+stitch_color_weight2=256 建议设置为[255, 0, 1]
enable	bool	false: HDR不使能 true: HDR使能
extend_bit	int[2] -1~8	扩展bit位 [L/S帧融合, LS/VS帧融合] 建议设置为[-1,-1], 自动计算；0 ~ 8为手动设置值。
ratio	float[3] 1.0~256.0	曝光量比值 [long/short, short/very short, very short/exposure 3]
sensor_type	int 0~6	0,1,2: L_12+S_12+VS_12 3: LS_16+VS_12 4,6: L_12+S_12 5: L_12+VS_12
stitching_mode	int 0~1	0: 线性合成模式; 1: 非线性合成模式
trans_range	float[6][2] 0.0~1.0	合成区间的起始值与终止值参考帧像素低于起始值，合成帧像素为较长帧；参考帧像素高于终止值，合成帧像素为较短帧；参考真像素位于两者之间，合成帧为较长帧与较短帧的融合。 [[L+S_ref(L)_start, L+S_ref(L)_end], [LS+VS_ref(LS)_start, LS+VS_ref(LS)_end], [L+S_ref(S)_start, L+S+ref(S)_end], [LS+VS_ref(VS)_start, LS+VS_ref(VS)_end], [LSVS+E3_ref(LSVS)_start, LSVS+E3_ref(LSVS)_end], [LSVS+E3_ref(E3)_start, LSVS+E3_ref(E3)_end]]

上表中：

帧号	描述
L帧	(曝光时长)长帧
S帧	(曝光时长)短帧
VS帧	(曝光时长)非常短帧
LS帧	L帧与S帧融合后的帧
LSVS帧	LS帧与VS帧融合后的帧

请注意，K230 HDR模式下，K230 CSI（Camera serial interface）模块不支持Hsync在Vsync之前的sensor数据模式，且各帧（L/S/VS）Vsync拉高(有效数据输出)时不能有交叠。

3.2 CGreenEqu#

请参考《K230 ISP图像调优指南》第3.7章节。

3.3 CRgbIR#

3.3.1 功能描述#

该模块为针对RGBIR sensor的输入处理设置.

3.3.2 主要参数#

参数	类型及取值范围	描述
bit	int	12, 固定值
ccmatrix	float[12]	3x4色彩转换矩阵，将RGBIR值转换为RGB值
dpcc_mid_th	int	DPCC通道中阈值值
dpcc_th	int	DPCC通道阈值
enable	bool	false: RGBIR子模块不使能 true: RGBIR子模块使能
gain	int[3]	R/G/B通道增益默认设置为[1,1,1]
ir_threshold	int	IR高值阈值如果IR值高于该值，IR色彩影响因子为0.
irbayer_pattern	int	RGBIR排列类型 0: BGGIR 2: RGGIR K230 仅支持RGGIR和BGGIR两种排列类型, 请将RGBIR sensor的数据输出设置为该两种类型其中的一种。
l_threshold	int	IR低值阈值如果IR值低于该值，IR色彩影响因子为1.
out_rgb_pattern	int	输出RGB数据排列类型 3: BGGR 无需更改。

3.4 CManualWb#

请参考《K230 ISP图像调优指南》第3.12章节。

3.5 CCcm#

请参考《K230 ISP图像调优指南》第3.13章节。

3.6 CDgain#

请参考《K230 ISP图像调优指南》第3.3章节。

3.7 CCpdv1#

请参考《K230 ISP图像调优指南》第3.19章节。

3.8 Bls#

3.8.1 功能描述#

该模块为设置black level。默认bls功能为打开。

3.8.2 主要参数#

参数	类型及取值范围	描述
bls	int[4]	Black level [bls_r,bls_gr,bls_gb,bls_b]。目前驱动仅支持各通道配置相同的黑电平，设置值基于ISP 12bits

3.9 CGamma64#

请参考《K230 ISP图像调优指南》第3.14章节。

3.10 CDpcc#

请参考《K230 ISP图像调优指南》第3.8章节。

3.11 CDpf#

请参考《K230 ISP图像调优指南》第3.9章节。

3.12 CLscv2#

请参考《K230 ISP图像调优指南》第3.2章节。

3.13 CWdrv4#

请参考《K230 ISP图像调优指南》第3.6章节。

3.14 C3dnrv3_1#

请参考《K230 ISP图像调优指南》第3.10章节。

3.15 CCproc#

请参考《K230 ISP图像调优指南》第3.18章节。

3.16 CEEv1#

3.16.1 功能描述#

该模块包含了CA、DCI和EE三个子块。

3.16.2 主要参数#

请参考《K230 ISP图像调优指南》第3.15（EE）、3.16（CA）和3.17（DCI）章节。

3.17 CDmscv2#

3.17.1 功能描述#

该模块包含了CAC和DMSC两个子块。

3.17.2 主要参数#

CAC参数设置请参考《K230 ISP图像调优指南》第3.20章节。 DMSC参数设置请参考《K230 ISP图像调优指南》第3.11章节。

4. auto.json文件#

auto.json文件需手动创建。请参考imx335-2592x1944_auto.json文件创建所需sensor分辨率的auto.json文件。

4.1 AdaptiveAe#

4.1.1 功能描述#

该模块为AE控制和AE自适应功能的参数设置。

4.1.2 主要参数#

参数	类型及取值范围	描述
enable	bool	自动曝光使能开关。 false: 关闭自动曝光 true : 使能自动曝光
semMode	int 0~2	场景模式 0: 场景评估关闭模式 1: 场景评估固定模式 2: 场景评估动态模式
antiFlickerMode	Int 0~3	抗工频干扰工作模式 0: Off 1: 50Hz 2: 60Hz 3: User defined
setPoint	float 0~255.0	设置AE的亮度目标值
tolerance	float 0~100.0	设置AE的亮度目标值百分比锁定范围
dampOver	float 0~1.0	阻尼因子，用于平滑过曝时的AE收敛
dampOverGain	float 0~128.0	AE过曝时clip范围外的收敛加速增益因子，值越大，收敛越快
dampOverRatio	float 1.0~4.0	AE过曝时clip范围外比例因子，值越小，收敛越快
dampUnder	float 0~1.0	阻尼因子，用于平滑欠曝时的AE收敛
dampUnderGain	float 0~16.0	AE欠曝时clip范围外的收敛加速增益因子，值越大，收敛越快
dampUnderRatio	float 0~1.0	AE欠曝时clip范围比例因子，值越大，收敛越快
motionFilter	float 0~1.0	运动变化平滑参数，用于计算AE场景评估自适应模式下的运动因子
motionThreshold	float 0~1.0	运动判别阈值
targetFilter	float 0~1.0	AE的亮度目标值变化平滑系数，值越大变化越快
lowLightLinearRepress	float[20] 0~1.0	线性模式下，当前增益阶数对应的目标亮度压制比例
lowLightLinearGain	float[20] 0~255.0	线性模式下，当前增益阶数对应的增益值
lowLightLinearLevel	int 0~19	线性模式下总的增益阶数
lowLightHdrRepress	float[20] 0~1.0	宽动态模式下，当前增益阶数对应的目标亮度压制比例
lowLightHdrGain	float[20] 0~255.0	宽动态模式下，当前增益阶数对应的增益值
lowLightHdrLevel	int 0~16	宽动态模式下总的增益阶数
wdrContrastMax	float 0~255.0	AE场景评估自适应模式下计算AE setpoint的最大对比度值
wdrContrastMin	float 0~255.0	AE场景评估自适应模式下计算AE setpoint的最小对比度值
frameCalEnable	bool	曝光设置帧间隔使能开关。 true : 使能曝光设置帧间隔功能 false: 关闭曝光设置帧间隔功能
autoHdrEnable	bool	true: HDR mode下，自动计算当前帧HDR ratio false: HDR mode下，使用固定的HDR ratio
roiNumber	int	当前ROI窗口序号
roiWindow	float (fx,fy,fw,fh,weight)	当前ROI窗口的起始点坐标(x,y)、宽高和亮度计算权重
expV2WindowWeight	float[32x32] 0~255	各子块曝光权重

4.2 Awbv2#

4.2.1 功能描述#

该模块为awb自适应功能的参数设置。

4.2.2 主要参数#

参数	类型及取值范围	描述
enable	bool	true : 使能AWB false: 关闭AWB
mode	int 0,1	0: AWB 1: AWB METEDATA
useCcMatrix	bool	true : 使能CCM 自适应 false: 关闭CCM自适应
useCcOffset	bool	true : 使能CCM offset自适应 false: 关闭CCM offset自适应
useDamping	bool	true : 使能AWB阻尼变化 false: 关闭AWB阻尼变化
roiNumber	int	当前ROI窗口序号
roiWindow	float (fx,fy,fw,fh,weight)	当前ROI窗口的起始点坐标(x,y)、宽高和AWB计算权重

4.3 Af#

4.3.1 功能描述#

该模块为AF功能的参数设置。该模块暂未生效。

4.3.2 主要参数#

参数	类型及取值范围	描述
enable	bool	false: 关闭AF true : 使能AF
mode	int	0: 普通AF模式 (计划开发其它AF模式)
weightWindow	float[3] 0~255.0	设置用于锐度计算的三个统计值窗口的权重值
cMotionThreshold	float 0~1.0	暂未使用，将用于运动检测
cPointsOfCurve	int 1~20	AF爬坡算法等分数量。该值越大，聚焦速度越慢；该值越小，聚焦速度越快，但移动步长过大会造成一定聚焦不准的情况。
cStableTolerance	float 0~1.0	AF从锁定状态进入失焦状态的阈值。该值越小，越容易失焦进入重新聚焦状态。
focalFilter	float[5] 0~1023	暂未使用
shapFilter	float[5] 0~1023	暂未使用
focalStableThreshold	float 0~1.0	聚焦进入锁定状态的阈值。该值越小，越难进入锁定状态
maxFocal	int 0~1023	AF标定的最大马达位置
minFocal	int 0~1023	AF标定的最小马达位置
cMseTolerance	float 0~1.0	暂未使用
cPdConfThreshold	float 0~1023.0	未使用
PdFocal	int -254~254	未使用
PdDistance	int 1~254	未使用
PdShiftThrehold	float 0~1.0	未使用
PdStablecountMax	uint8 1~10	未使用
PdROIIndex	uint8 0~48	未使用

4.4 ALscv2#

4.4.1 功能描述#

该模块为LSC自适应功能的参数设置。

4.4.2 主要参数#

参数	类型及取值范围	描述
enable	bool	false: 关闭ALSC true: 使能ALSC
damping	float	阻尼因子，用于平滑ALSC时的LSC曲线变化
interMode	int 0~2	0: 根据增益值自适应调节 1: 根据色温自适应调节 2: 根据增益值和色温自适应调节
hdr	bool	false: 表示该组设置为线性模式下的设置 true: 表示该组设置为HDR模式下的设置。
gain	float[20]	各阶对应的增益值
strength	float[20] 0~1.0	各阶增益值对应的保留LSC的强度

4.5 其它#

本章节对其它自适应功能模块进行统一介绍。

这些自适应功能模块的设置参数，通常用“tables”标记引导的中括号“[]”分为两部分，在该中括号外的都为bool类型的使能参数，在该中括号内的则为参与自适应功能调节的参数。

4.5.1 tables外的参数说明#

这些功能模块中，在tables外通常有以下三个参数：

参数	类型	描述
disable	bool	可固定设置为false
enable	bool	false: 关闭; true: 使能按所需adaptive模块功能进行设置
forcecreate	bool	可固定设置为true

在A3dnrv3模块中，在tables外还有两个参数：

参数	类型	描述
nlm_en	bool	非局部均值降噪使能开关，建议设置为true
tnr_en	bool	时域降噪使能开关，建议设置为true

4.5.2 tables内的参数说明#

在功能模块中，都有以下两个参数：

参数	类型及取值范围	描述
hdr	bool	false: 表示该组设置为线性模式下的设置 true: 表示该组设置为HDR模式下的设置。
gain	float[20]	各阶对应的增益值

其它自适应功能参数，请参考《K230 ISP图像调优指南》中的相应功能章节。

“gain”从最小值（通常为1倍）到最大值，最多可被分为20阶，每阶都需在gain这个参数数组中设置对应的增益值。

需要注意的是，各个自适应模块都可根据其自适应的需要自定义不同的阶数，最大不超过20阶即可。

同一自适应功能模块中的所有参与自适应的参数，都随gain的阶数来确定其数组大小，并且每阶都应根据对应的同阶增益值大小来设置合适的值。