今天在北影听了Lytro的CTO Kurt Akeley的讲座：Envisioning a light filed
ecosystem。接下来是一组笔记。其中不全是Kurt
Akeley所讲，有部分是我融合自己以前学习的信息。错误之处请指出。感谢@王春水Charles 老师组织此讲座 目前的3D显示技术有两个大问题，一个是离轴观察，一个是调节集合反射分离。 离轴观察，off axis viewing。虽然是立体电影，但是你偏头看一下东西，发现整个景物随着一起旋转，并未看见物体的侧面。 调节集合反射是说，你对焦清楚时看到的物体面和双眼视线相交的面应该是同一个面。在真实空间是默认的，你看一个物体，是用双眼去看这个物体。但在3D电影是不一定的。你的焦点定在银幕上，而电影中表现的景物位置是在银幕前或者后。 用光场成像理论进行采集图像。该理论基础是Intergral imaging，在1908年由Gabriel
Lippman提出。不过即使到了现在技术发展仍然还没有达到实时采集视频的能力。受限制于图像处理的数据量。 光场的理论是去采集物体发射出的每一个光线的方向。要在空间中标记一个射线方向，（三维矢量）需要4个变量，通过第一个观察平面的xy坐标，和第二个观察平面的xy坐标，（观察平面位置确定）即所谓4D光场，如果考虑强度是5D数据。 如果能够记录物体发出的所有光的光场数据，就可以重建出物体发光的所有信息。这应该和记录波前的全息是等价的，只不过是用法线方向表示wavefront而已。 如同阿贝成像定理所限制，有限光瞳只能采集到有限范围内的wavefront。光场相机也是如此。光场采集后，可以通过运算生成一个虚拟相机，或者虚拟观察点。这个观察点可以是在入瞳以后的任意一个位置。比如24mm直径的光场相机，可以产生瞳距最大24mm的景深感。 光场相机使用微镜头阵列来成像。微镜头阵列相当于4D数据中的第一个观察面，其后的CCD/CMOS相当于第二观察面。（貌似是）两个成像面的间距=微透镜的焦距。数值孔径F#=f/a，a为镜头直径。 除了微透镜阵列之外，光场相机在其前面还加入了一组成像透镜，可等效于一个主透镜。主透镜的F#与微透镜相同，这样保证在微透镜对应的CCD上没有图像采集的重叠。 主透镜的意义在于，一是通过F#避免图像采集的重叠，二是可以调整光场相机所采集的baseline，我认为就是入瞳的wavefront的位置。比如要两倍直径，只需要更换主透镜的部分（F#不能改变），微透镜阵列不变。(换镜头的单反？) 通过在主透镜上的zoom或者变焦，可以改变光场采集的“物体空间”。从前相机是二维成像，所以只要考虑物平面，但光场相机是三维成像，所以要考虑前后的范围。 相机的分辨率目前由微透镜阵列的分辨率决定，比如微透镜阵列是1080*1080的，那么像素就是1080*1080，每个微透镜阵列对应一组N*N的CCD像素，N的数值决定重聚焦的能力，或者说在景深内采集的物平面数量。注意物平面的分布对于屈光度是线性的，但对于距离是非线性的。 Kurt Akeley提到现在已经可以超越微透镜的分辨率，也就是说虽然微透镜阵列仍然可能是1080*1080，但是像素可以比这个高。我猜算法相当于通过对应的CCD数据重建通过微透镜的每个分量wavefront，然后再拼接出整个面的wavefront。 增大分辨率也可以减小微透镜。随着微透镜的减小，并不会增强衍射效应，因为衍射是由数值孔径F#决定的。（解决我之前一大疑惑，我学问不扎实啊，Airy斑的直径不就是跟f/a有关么） Kurt Akeley讲到光场渲染，就是将光场采集到的数据，重新在2D平面上显示出来，不过这时要追踪观察者的视点。这里有个有趣之处，他是在北影讲，但是如果摄影机都采用光场成像了，意味着不会再有电影院。因为坐在中间的观众和周边的观众看到的是完全不同的。跟话剧差不多了。他建议是头戴显示器。 关于相机： * 主透镜的可以选择成像“物体空间”的范围，比如1m-无穷远，或是3m-8m之类。也可以改变角放大率。
* Kurt Akeley现场演示时用的是win系统。印象中他们网站上说只有Mac版本的，看来win下的也可用了。
* 目前软件只能做到重聚焦，也就是拍摄完成以后，选择哪里，哪里清楚。理论上可以变换视角（只要在baseline的光瞳范围之内）。但这一版本还不行。买东西果然要买偶数代啊。不知是否能帮众geek拔草。
* 目前还不能实时采集图像。看每次照相，图形处理要好几秒。目前图像完全是RAW的，一张要十几兆，进入电脑的数据未经压缩。瓶颈在于CPU/GPU和数据带宽限制。（这就是1908年搞不出来的原因吧） 询问了光场相机MTF的计算。他表示商业公司对此不甚关心。有paper，唉，自己查吧。
ecosystem。接下来是一组笔记。其中不全是Kurt
Akeley所讲，有部分是我融合自己以前学习的信息。错误之处请指出。感谢@王春水Charles 老师组织此讲座 目前的3D显示技术有两个大问题，一个是离轴观察，一个是调节集合反射分离。 离轴观察，off axis viewing。虽然是立体电影，但是你偏头看一下东西，发现整个景物随着一起旋转，并未看见物体的侧面。 调节集合反射是说，你对焦清楚时看到的物体面和双眼视线相交的面应该是同一个面。在真实空间是默认的，你看一个物体，是用双眼去看这个物体。但在3D电影是不一定的。你的焦点定在银幕上，而电影中表现的景物位置是在银幕前或者后。 用光场成像理论进行采集图像。该理论基础是Intergral imaging，在1908年由Gabriel
Lippman提出。不过即使到了现在技术发展仍然还没有达到实时采集视频的能力。受限制于图像处理的数据量。 光场的理论是去采集物体发射出的每一个光线的方向。要在空间中标记一个射线方向，（三维矢量）需要4个变量，通过第一个观察平面的xy坐标，和第二个观察平面的xy坐标，（观察平面位置确定）即所谓4D光场，如果考虑强度是5D数据。 如果能够记录物体发出的所有光的光场数据，就可以重建出物体发光的所有信息。这应该和记录波前的全息是等价的，只不过是用法线方向表示wavefront而已。 如同阿贝成像定理所限制，有限光瞳只能采集到有限范围内的wavefront。光场相机也是如此。光场采集后，可以通过运算生成一个虚拟相机，或者虚拟观察点。这个观察点可以是在入瞳以后的任意一个位置。比如24mm直径的光场相机，可以产生瞳距最大24mm的景深感。 光场相机使用微镜头阵列来成像。微镜头阵列相当于4D数据中的第一个观察面，其后的CCD/CMOS相当于第二观察面。（貌似是）两个成像面的间距=微透镜的焦距。数值孔径F#=f/a，a为镜头直径。 除了微透镜阵列之外，光场相机在其前面还加入了一组成像透镜，可等效于一个主透镜。主透镜的F#与微透镜相同，这样保证在微透镜对应的CCD上没有图像采集的重叠。 主透镜的意义在于，一是通过F#避免图像采集的重叠，二是可以调整光场相机所采集的baseline，我认为就是入瞳的wavefront的位置。比如要两倍直径，只需要更换主透镜的部分（F#不能改变），微透镜阵列不变。(换镜头的单反？) 通过在主透镜上的zoom或者变焦，可以改变光场采集的“物体空间”。从前相机是二维成像，所以只要考虑物平面，但光场相机是三维成像，所以要考虑前后的范围。 相机的分辨率目前由微透镜阵列的分辨率决定，比如微透镜阵列是1080*1080的，那么像素就是1080*1080，每个微透镜阵列对应一组N*N的CCD像素，N的数值决定重聚焦的能力，或者说在景深内采集的物平面数量。注意物平面的分布对于屈光度是线性的，但对于距离是非线性的。 Kurt Akeley提到现在已经可以超越微透镜的分辨率，也就是说虽然微透镜阵列仍然可能是1080*1080，但是像素可以比这个高。我猜算法相当于通过对应的CCD数据重建通过微透镜的每个分量wavefront，然后再拼接出整个面的wavefront。 增大分辨率也可以减小微透镜。随着微透镜的减小，并不会增强衍射效应，因为衍射是由数值孔径F#决定的。（解决我之前一大疑惑，我学问不扎实啊，Airy斑的直径不就是跟f/a有关么） Kurt Akeley讲到光场渲染，就是将光场采集到的数据，重新在2D平面上显示出来，不过这时要追踪观察者的视点。这里有个有趣之处，他是在北影讲，但是如果摄影机都采用光场成像了，意味着不会再有电影院。因为坐在中间的观众和周边的观众看到的是完全不同的。跟话剧差不多了。他建议是头戴显示器。 关于相机： * 主透镜的可以选择成像“物体空间”的范围，比如1m-无穷远，或是3m-8m之类。也可以改变角放大率。
* Kurt Akeley现场演示时用的是win系统。印象中他们网站上说只有Mac版本的，看来win下的也可用了。
* 目前软件只能做到重聚焦，也就是拍摄完成以后，选择哪里，哪里清楚。理论上可以变换视角（只要在baseline的光瞳范围之内）。但这一版本还不行。买东西果然要买偶数代啊。不知是否能帮众geek拔草。
* 目前还不能实时采集图像。看每次照相，图形处理要好几秒。目前图像完全是RAW的，一张要十几兆，进入电脑的数据未经压缩。瓶颈在于CPU/GPU和数据带宽限制。（这就是1908年搞不出来的原因吧） 询问了光场相机MTF的计算。他表示商业公司对此不甚关心。有paper，唉，自己查吧。
没有评论:
发表评论