DuFT system-In Vivo real time imaging

DuFT (Dual-Focal 3D Tracing)

　DuFT is a technology that can track 3D coordinates (X, Y, Z) in real time by combining stereo shooting with two cameras and pattern matching. By performing SICT (signal-intensity calibration technique), which corrects the amount of luminescence according to the position of the three-dimensional coordinates, it is possible to measure the luminescence quantification by three-dimensionally tracking the target part of each tissue of the living body of the visualization mouse in real time under freely moving condition. increase.

We developed these technologies and published the results of visualizing the clock gene expression rhythm of each tissue of a free-moving mouse in Nature communications (Hamada et al 2016) (Hokkaido University Graduate School of Medicine, Optical Bioimaging Division , Physiology, Radiology, Joint Research with Institute of Health Sciences)

(Japanese) DuFTとは、２台のカメラによるステレオ撮影とパターンマッチングを組み合わせ、３次元座標（X、Y、Z）をリアルタイム追跡することが出来る技術です。３次元座標の位置に応じて発光量の補正SICT（signal-intensity calibration technique）を行うことで、リアルタイムで自由行動下の可視化マウスの生体各組織のターゲット部位を３次元追跡し発光定量を計測出来ます。

これらの技術を開発し、自由行動しているマウスの生体各組織の時計遺伝子発現リズムを可視化した結果をNature communications (Hamada et al 2016) に発表しました (北海道大学大学院医学研究科光バイオイメージング部門、時間生理学分野、放射線医学分野、保健科学研究院との共同研究）

時計遺伝子可視化マウスを用いた生体各組織の時計遺伝子発現リズムを長期間連続追跡定量した実験結果を Nature communications (Hamada et al 2016) に発表しました (北海道大学大学院医学研究科光バイオイメージング部門、時間生理学分野、放射線医学分野、保健科学研究院との共同研究）。

DuFT's control program is based on the Real-time tumor-tracking radiotherapy (RTRT) program used in radiation cancer treatment. RTRT is a technology developed by the Department of Radiation Science, Hokkaido University, which co-developed DuFT. If the target tumor for radiation therapy is present in the body, the tumor will move with breathing. Irradiation there is not very effective, but with this RTRT technology, the movement of the tumor can be tracked with an accuracy of about 1 mm, and the target site can be treated with radiation. Please see here for the detail. DuFT, which is an improvement of this technology, can track the target position of the gene expression (light emitting site) site of a mouse that is freely moving in the measurement cage with an accuracy of within ± 0.2 mm of the position identification error (Hamada et al.,2016, Sutherland et al.,2019) . In addition, the coordinates (X, Y, Z) of the target areas of freely moving mouse in the three-dimensional space are measured every 0.5 seconds, and the amount of light emitted is corrected and quantified in real time.

DuFT system

It is a measurement system that can measure gene expression at any time by fusing DuFT and SICT technologies. Currently, it is commercialized by Nakamura Service Co., Ltd. and Meteor Co., Ltd. For details, please see here (introduced as a 3D gene expression analyzer).

(Japanese) DuFTの制御プログラムは、放射線癌治療において使用されているReal-time tumor-tracking radiotherapy (RTRT) プログラムを基にしています。RTRTとは、DuFTを共同開発した北海道大学放射線科学分野により開発された技術です。放射線治療のターゲットの腫瘍が体幹部に存在している場合、その腫瘍は呼吸にあわせて移動しますので単なる放射線照射しても効果が薄いのですが、このRTRT技術を用いればその腫瘍の動きを約１㎜の精度で追跡できるので、正確にターゲット部位放射線照射治療することができます。詳細はこちらをご覧ください。DuFTもまた測定ケージ内を自由に動いているマウスの遺伝子発現（発光している部位）をしているターゲット部位の位置同定誤差を±0.2mm以内の精度で追跡しすることができます。また、３次元空間でのターゲット部位の座標（X,Y,Z）を0.5 秒毎に計測し随時発光量の補正を行い定量化しています。

DuFT system

DuFT とSICT の技術を融合し遺伝子発現を随時発光計測出来る測定システムです。現在では株式会社ナカムラサービスとメテオ株式会社により製品化されています。詳細はコチラ（3D遺伝子発現解析装置として紹介されています）をご覧ください。

DuFT system Principle

The DuFT system consists of the following four steps.

1. Determination of spatial coordinates (X, Y, Z) in 3-dimensional space: Transformation matrix（Step1)

2. Determination of 3D coordinates (center coordinates of tissues) of each tissue of freely moving mouse by pattern matching method: DuFT (Step2)

3. Luminesent intensity correction in 3D space: SCIT (Step3)

4. In vivo real time gene expression analyze Program: MouseTraker: Gene expression tracking and quantification of each tissue of freely-moving mice: Linkage of DuFT and SCIT

Step1: Determination of Transformation matrix

Conversion from 2D coordinates to 3D coordinates by transformation matrix

First, it is an important to determine the 8 points coordinate (X, Y, Z) as known coordinates. Normally, we made Eight points in the corner which called a cube in 3D space. Each point of cube are shot in stereo with two CCD cameras. The target S(X, Y, Z) is the position of the part to be measured in the three-dimensional space. Two CCD cameras get each image of target (Right camera: R1, Left camera:L1). Next, two straight lines R1-S, L1 were determined. A straight line R1-S: ax + by + cz + d = 0 that passes through the 2D coordinates R (Rx, Ry) (from the right CCD camera) and the 3D target (X ,, Y, Z) of the image taken of the target of the right CCD camera. A straight line L1: ax + by + cz + d = 0 which is the straight line passing through the two-dimensional coordinates L (Lx, Ly) (from the left CCD camera) and the target (X ,, Y, Z) of the target of the left camera. The values of a, b, c, and d of R1 and L1 are calculated from the coordinates of the eight points of the cube calculated above.

There is only one point where two straight lines (R1, L1) intersect in the three-dimensional space, and this coordinate S(X, Y, Z) is the three-dimensional coordinate of the target.

This can be derived by a matrix function, and the transformation matrix value that converts the 2D coordinates of the images on the left and right of the CCD camera that captured the target in the 3D space to the 3D coordinates of the target can be obtained.

Step2: Determination of 3D coordinates (tissue center coordinates) of each tissue of freely moving mouse by pattern matching method: DuFT

A scintillator (plastic) is attached to the mouse and used as a 3D coordinate marker for a freely moving mouse. Plastic scintillators fluoresce in response to LED lights.

To obtain the three-dimensional coordinates (X, Y, Z) of each tissue of the head and body,

Three scintillators (three semi-circular ones with a diameter of 1.5 mm) are attached for the head and three scintillators (three semi-circular ones with a diameter of 2.0 mm) are attached for peripheral tissues.

The three-dimensional coordinates of each scintillator are calculated in real time (every 0.1 to 0.5 seconds) from the transformation matrix using a pattern matching method.

The figure below shows an example of how to calculate the three-dimensional coordinates of each tissue of the head. By setting the three-dimensional coordinates of the olfactory bulb in the brain around the centroid of the triangle formed by the three scintillators of the head, the three-dimensional coordinates of the olfactory bulb can be calculated by the pattern matching method.

The three-dimensional coordinates of the left and right cerebral cortex and the left and right ears can be calculated in the same way by the pattern matching method shown in the figure below.

The three-dimensional coordinates of the back skin are set around the midpoint of the base of the triangle formed by three scintillators on the back, and the three-dimensional coordinates are calculated by the pattern matching method.

We call this technology for tracking 3D coordinates in real time DuFT.

Step3:　Luminescence intensity correction in 3D space: SCIT

The three-dimensional coordinates of the target site of each tissue of the living body of a mouse that behaves freely and unpredictably are calculated every 0.5 seconds by the above method in real time.

To calibrate the illuminant in 3D space, place 605 points of Control objects that emit light stably in 3D space, and determine the rate of change in 3D space of the amount of light emitted by the left and right CCD cameras in 3D space. (calibration). We namede this calibration SCIT (see SCIT section: only Japanese version).

Step4: under construction

(Japanese) DuFTsystem の原理

DuFT systemは以下の４つのステップから形成されます。

　１．３次元空間での空間座標（X,Y,Z)の決定　

トランスホーメンションマトリックスによる2次元座標から3次元座標への変換　

キューブと呼ばれる立方体の隅の８点を既知の座標として決定し、それぞれのキューブの８点のポイント（ターゲット）を２台のCCDカメラでステレオ撮影する。左右のCCDカメラからの画像のキューブのそれぞれの２次元座標R（Rx,Ry)　（右のCCDカメラから）とターゲット（X,、Y、Z）を通る直線ax+by+cz+d=0と　２次元座標L（Lx,Ly）（左のCCDカメラから）とターゲット（X,、Y、Z）を通る直線ax+by+cz+d=0の２つの直線を既知の８点の座標から計算する。２つの直線が交わるポイントは３次元空間内において１箇所だけであり、この座標（２つの直線の交点）がターゲットの３次元座標である。これはマトリックス関数で導き出せ　３次元空間内にあるターゲットを撮影したCCDカメラ左右の画像の２次元座標からターゲットの３次元座標に変換するトランスホーメンションマトリックス値を得ることが出来る。

　２．パターンマッチング法によるマウス生体各組織の3次元座標（組織の中心座標）の決定：DuFT

自由に行動するマウスの３次元座標マーカーとしてシンチレーター(プラスチック)をマウスに取り付け使用します。プラスチックシンチレーターはLEDライトに反応して蛍光を発する。頭部と体の各組織の３次元座標（X,Y,Z）を得るために頭部に３点（直径1.5mmの半円形のもの３点）および背中に３点（直径2.0mmの半円形のもの３点）のシンチレーターをとりつける。それぞれのシンチレーターの３次元座標をパターンマッチング手法をもちいてトランスホーメンションマトリックスから計算する。頭部の各組織の３次元座標の計算方法の例を下図に示す。脳内嗅球の３次元座標は頭部３つのシンチレーターから形成される三角形のセントロイドあたりに設定することでパターンマッチング手法で嗅球の３次元座標を計算することができる。左右の大脳皮質や左右の耳のそれぞれの３次元座標も下図に示すパターンマッチング手法で同様に計算できる。背中皮膚の３次元座標は背中に３つのシンチレーターから形成される三角形の底辺の中点あたりに設定し、パターンマッチング手法で３次元座標が計算される。この３次元座標を連続的に追跡計測する技術をDuFTと我々は名づけています。

３．3次元空間での発光量補正: SCIT

自由に予測不能に行動するマウスの生体各組織のターゲット部位の３次元座標が上記の方法で0.5秒毎に計算される。３次元空間内での発光体のキャリブレーションは３次元空間内に安定して発光する物体を605ポイント設置し、３次元空間内での左右のCCDカメラが捉える発光量の３次元空間変化率を求める（キャリブレーション）。このキャリブレーションをSCITと我々は名づけています（SCITの項目参照）。

４．自由行動マウスの各組織の遺伝子発現追跡定量：　DuFT とSCITの連結

マウスターゲット部位の３次元座標に基づいて、位置に応じた発光量の補正を行うことで発光量の定量が可能となります。DuFTsystemはDuFTとSCITを連結させ　自由行動マウスの生体各組織の遺伝子発現を定量するシステムです。0.5秒毎に各組織の遺伝子発現を計測し、長期間複数組織の遺伝子発現を同時計測します。

(Japanese) SICT（signal-intensity calibration technique）

EM-CCDカメラにマクロレンズを取り付け生物発光・蛍光サンプルをみるときに一般的に Vignetting (口径食）とDistortion (歪み）が問題になります。我々が用いているEM-CCDカメラはC9100-13 ImagEM (浜松ホトニクス)であり、非常に微弱な検出限界あたりの生物発光を検出するには最もすぐれたCCDカメラであります。マクロレンズを装着し焦点距離を長くした撮影であるケージ内を自由に行動しているマウスの体全体の遺伝子発現撮影を行う場合、体各組織から微弱な遺伝子発現を連続的に追跡定量するには3次元空間内で発光量を補正することが必要になります。EM-CCDカメラ本体での撮影した画像の輝度値を均一にする補正であるFlat Field Correction も考慮することも考えられますが、以下のことから無視できると考えております。- 80度に冷却したC9100-13 ImagEM ではダークノイズは無視でき、読み出しノイズも0-255 intensity 範囲の中では40あたりで無視できます。ピクセル間の感度補正はEMゲインのムラがあるため調整は不可能でありますがターゲットとなる発光体の明るさが上記ばらつきを無視できるほどの明るさを持っていれば検出定量可能となります。

現実的にケージ内を自由に動いているマウスのターゲット部位（組織）の発光量(生物発光)を定量するときには - 80度に冷却したC9100-13 ImagEM CCDカメラで感知した発光量を Vignetting とDistortion を考慮し、3次元空間内でのターゲットの位置に応じて（CCDカメラからの距離に応じて）発光量の補正をすることで定量が可能になります。

我々の使用しているレンズは最大像高8mm (像寸法16mmに相当）であり、C9100-13 ImagEM CCDカメラの画素サイズは11.6mm (縦8.192mm、横8.192mm)であることから最大像高72.5% まで撮影することができます。この場合カメラから垂直にターゲット物体を撮影した場合、 Distortion は画像の中心から一番遠い4隅において -2.5% になり樽型の歪みをもつことが計算できます。Vignetting はレンズのデータシートから計算すると63% になり、画像の中心から一番遠い４つの端では明るさが37%低くなります。実際、発光安定体をもちいて計測すると画像の4隅は中心から40% 暗くなることを確認しています。レンズの光透過率は420nmでは80%,500nm~600nmでは約90%(400-700nmの範囲においてfirefly luciferaseとenhanced beetle luciferaseによる生物発光の光はそれぞれ、89％、90%通過する）であり、カメラに光が入射します。さらにEM-CCDカメラが感知する光量はターゲット部位とカメラの距離に反比例します。このような特性をもつマクロレンズをもちいて２台のEM-CCDカメラによるステレオ撮影した画像からターゲットの3次元座標（X,Y,Z)を0.5 秒毎に上記DuFTにより計算し、3次元空間内でのターゲットの位置に応じた発光量補正を行い発光量を連続的に定量し遺伝子発現量を計算します。我々はこの発光量補正技術をSICT（signal-intensity calibration technique）と名付けました。

(Japanese) DuFTsystem をもちいた遺伝子発現解析例

DuFTsystem による時計遺伝子発現解析があります。時計遺伝子の中でもPeriod1(Per1) と Brain and Muscle Arnt-like1 (Bmal1) の遺伝子発現の追跡定量を行いました。Per１遺伝子プロモーターにfirefly luciferase (luc) を連結したものをもつPer1-luc マウスとBmal１遺伝子プロモーターにenhanced beetle luciferase（Eluc) プロモーターを連結したものをもつBmal1-luc マウスをもちいて各組織の時計遺伝子発現リズムを解析しました。３次元空間内でのマウスの位置マーカーとして非常に微弱なLEDライト（マウスケージ床において0.01 lux 以下）に反応するプラスチックシンチレーターをもちいて直径1.5mm と直径2.0mmの半円形のものを独自に作製しマウスの頭に3点（直径1.5mmのもの）、背中に3点（直径2.0mmのもの）とりつけ、自由行動マウスの各組織の時計遺伝子発現リズムをDuFTsystemでプラスチックシンチレーターからの蛍光シグナルと時計遺伝子発現を示す luc、Eluc の生物発光シグナルを同時計測することで解析しました。このDuFTsystem をもちいた計測では、我々はフィルターを用いていません。プラスチックシンチレーターからの蛍光と時計遺伝子発現を示す luc、Eluc からの生物発光の最大励起波長はそれぞれ 425nm, 562nm, 540nm であり、プラスチックシンチレーターとlucのスペクトルのオーバラップはほとんど無く(0.1%以下）、プラスチックシンチレーターとEluc では40nm 以下であるためです。

マクロレンズを介してCCDに入ってくる光は、その後画像化されますが、CCDカメラ(C9100-13 ImagEM) の量子変換率を考慮する必要があります。CCDカメラの量子交換率は400nm~450nmの青色光あたりでは低いため感度が悪く、500nm~600nmあたりでは量子交換率が約90%で最も感度が高くなります。プラスチックシンチレーターからの蛍光シグナルと時計遺伝子発現を示すluc, Eluc からの発光シグナルの同時計測をするにあたり、プラスチックシンチレーターからの蛍光が低く抑えられ、時計遺伝子発現を示すluc, Eluc からの発光シグナルを検出する理想的な計測が可能となり、DuFTsystemはシンプルで長期間安定して遺伝子発現追跡定量できる特徴を持ちます。

下図にプラスチックシンチレーターからの蛍光と時計遺伝子発現を示す luc、Eluc の生物発光スペクトルを示しました。プラスチックシンチレーターからの蛍光と luc、Eluc の生物発光シグナルの最大励起波長での intensity をそれぞれ１として計算しています。

(Japanese) 「体のリズムの乱れ」をリアルタイムで可視化することに成功

我々はDuFTsystem をもちいて世界で初めて個体レベルで「体のリズムの乱れ」をリアルタイムで可視化することに成功し、体の健康状態の基準化を確立した。夜間に8時間の光刺激をマウスに行うとマウスの行動リズムの開始は翌日には約５時間ほど遅れる（体内時計の位相後退）。この急激に体内時計が５時間遅れるような処置（人工的時差ボケ処置）をした時に体の各組織のリズムはどのようになるか調べ、脳内嗅球の活動リズムは行動リズムと同様すぐに５時間の位相後退を示したが、左右の大脳皮質、左右の耳、背中皮膚の活動リズムは一旦乱れ、嗅球と１日遅れて位相後退を示した（下図）。この現象は生体内脱同調と呼ばれ、海外旅行で体験する時差ぼけを惹起する原因である。この現象が長期に続くとシフトワーカーで発症する体内時計関連疾患である睡眠障害、乳癌、前立線癌、糖尿病を誘発する確立が上がる。DuFTsystemをもちいることでさまざまな疾患の発症機構の極めて初期段階をとらえることが可能であり、疾患発症機構解明および治療薬開発に大きく貢献できると期待できる。