カメラ制御」カテゴリーアーカイブ

M-JPEG streamerとOpenCV(CV2)でタイムラプス動画を作成

10秒間隔で画像を400枚 jpgファイルとして保存

事前にM-JPEG streamerがインストールされ、アドレスxxx.xxx.xxx.xxx:8080で稼働している環境で、ファイル名 T0000.jpgからT0399.jpgとして画像を保存します。

import time
import cv2

# VideoCapture オブジェクトを取得します
URL = "http://xxx.xxx.xxx.xxx:8080/?action=stream"
capture = cv2.VideoCapture(URL)
for n in range(400):
    ret, frame = capture.read()
    name = "T" + '{:04d}'.format(n)+".jpg"
    print(name)
    cv2.imwrite(name, frame)
    time.sleep(10)

print("Done!")

jpgファイルからmp4動画を生成

import glob
import cv2

img_array = []
for filename in sorted(glob.glob("*.jpg")):
    print(filename)
    img = cv2.imread(filename)
    height, width, layers = img.shape
    size = (width, height)
    img_array.append(img)

name = 'project.mp4'
out = cv2.VideoWriter(name, cv2.VideoWriter_fourcc(*'mp4v'), 5.0, size)

for i in range(len(img_array)):
    out.write(img_array[i])
out.release()

生成したmp4動画の編集(不要部分の削除、回転、再生速度の調整など)には、Windows10標準のソフト「フォト」が便利。

作例

Raspberry Pi3BでRepetier-Serverを利用する

Raspberry Pi3Bの環境

 $ uname -a
Linux ps2 5.10.52-v7+ #1440 SMP Tue Jul 27 09:54:13 BST 2021 armv7l GNU/Linux

$ cat /etc/os-release
PRETTY_NAME="Raspbian GNU/Linux 10 (buster)"
NAME="Raspbian GNU/Linux"
VERSION_ID="10"
VERSION="10 (buster)"
VERSION_CODENAME=buster
ID=raspbian
ID_LIKE=debian
HOME_URL="http://www.raspbian.org/"
SUPPORT_URL="http://www.raspbian.org/RaspbianForums"
BUG_REPORT_URL="http://www.raspbian.org/RaspbianBugs"

ダウンロードサイトからLinux 32bit ARM(armfh)をダウンロードしてインストール

$ sudo dpkg -i  Repetier-Server-1.1.2-Linux.deb

インストールしたら、ブラウザで http://xxx.xxx.xxx.xxx:3344 をアクセスすると、プリンターの設定画面が表示されるので、マニュアルに従ってプリンターの追加・設定を行います

Webcam のインストール

ここを参照して、Webcamを設定

Repetier-ServerでWebcamの機能を利用するには、有料のプロバージョンが必要なため、 次のような画面となって、サーバーでは表示できません。

ただし、インストールしたWebcamのストリーミング機能は動作しているようで、ブラウザーで http://xxx.xxx.xxx.xxx:8080 をアクセスすると次のようにストリーミング映像を見ることができました。(カメラは窓の外向けに設置)

Start, Stop and Restart Repetier-Server

# Start server
sudo service RepetierServer start
sudo /etc/init.d/RepetierServer start
# Stop server
sudo service RepetierServer stop
sudo /etc/init.d/RepetierServer stop
# Restart server
sudo service RepetierServer stop
sudo /etc/init.d/RepetierServer restart

サーボモータを利用したPan/Tiltカメラ台の制御(pigpioの利用)

こんな記事を発見:RPi.GPIOよりもpigpioの方が精度が良いらしい。

「RPi.GPIO と pigpio のパルス幅の精度を測定」

テストのコード

#!/usr/bin/python
# -*- coding: utf-8 -*-
import time
import pigpio
PAN=27
GP = pigpio.pi()
GP.set_mode(PAN, pigpio.OUTPUT)
GP.set_servo_pulsewidth(PAN, 500)   # gpio18   500us

time.sleep(60)
GP.stop()

実測結果

標準偏差が348nSと、OSのオーバーヘッドがないArduinoと比較すると2桁程大きいが、サーボモータの制御には十分な精度が得られそう、、、

サーボモータを利用したPan/Tiltカメラ台の制御(GPIOライブラリーでは正確な制御は無理?)

サーボモータでPan/Tiltカメラ台を制御する実験をやってみたが、意図した方向から少し外れては正しい方向へカメラ台が回転する現象が頻発している。ステッピングモータの時には、このような現象に遭遇した記憶がない。サーボモータは、制御信号のパルス幅に対応した角度まで回転するように作られているので、意図しない回転の原因は、次のように推定できる。

  • 制御信号のパルス幅がバラついている
  • サーボモータの精度が悪い(制御信号のパルスに正確に追従していない)
  • その他?(上記の両方、またはその他の原因)

安価なサーボモータを使っているので、最初はサーボモータの精度の問題と思ったりしたが、制御信号のパルス幅をオシロで観測してみることにした。オシロには測定した値の統計情報を表示する機能があり、パルス幅の評価にはこれを利用することにした。

サーボモータの制御は、次のPythonスクリプトでRaspberry pi4bのGPIOからPWM信号を発生させて行っている。500HzでDuty50%の矩形波を生成。

#GPIOの初期設定
import RPi.GPIO as GPIO
GPIO.setwarnings(False)
GPIO.setmode(GPIO.BCM)
PAN=27
GPIO.setup(PAN, GPIO.OUT)
PWM_pan = GPIO.PWM(PAN, 500)
PWM_pan.start(0.0)

PWM_pan.ChangeDutyCycle(50)
while True:
    pass

オシロで観測した波形と統計情報

赤枠部分に表示された情報を信用すると、パルス幅の平均値が1.08mS、最大値が2.34mS、標準偏差が88.96μなどどなっている。ここで、利用したサーボモータは0.5mSから2.5mSの制御信号のパルス幅に対応して、270度の範囲で回転することになっている。回転角度を1度変更するにために必要なパルス幅の変化は、約4.7μS(=2mS/270)。ところが、観測したパルス幅の標準偏差が88.96μということなので、サーボモータが制御信号に忠実に反応した場合、回転角度が数度以上変動することになる。実際に、この制御信号をサーボモータへ与えると、モータは静止せずに微動を繰り返す状態となった。

制御パルス生成にArduino Microを用いた場合

PIN6からPWM信号を生成

int PAN = 6;

void setup() {
  pinMode(PAN, OUTPUT);
  analogWrite(PAN,128);
}

void loop() {
}

オシロで観測した様子

なんと標準偏差が1桁のnSオーダー。Raspberry Pi4の1/1000以下となりました。

サーボモーターを用いたPan/Tiltカメラマウント

以前、ステッピングモータでPan/Tilt制御可能なカメラマウントを作ってみましたが、今回はサーボモータを利用してみました。サーボモータは、手軽にドライブできる利点はありものの、角度の情報を取り出す仕組がないという利用目的次第では致命的な欠点もあることに気が付きました。特にTilt方向が問題で、気を付けないとマウントに搭載しているカメラが座台と干渉し、カメラなどを破損する可能性があります。

ステッピングモータでPan/Tiltの制御し、画像の重心を追尾する実験の様子。

Pan/Tiltの台座

Pan/Tiltの台座を購入してみました。ネジが曲がっていたり数が合わないのは想定内?パーツの不具合を補うため、3Dプリンターでパーツを作る。

組み立ての途中の様子。組み立ててみたら回転の動きが少し怪しい。ベアリングの精度の問題か?この上に、Tilt制御用のサーボを搭載する予定。

ISS撮影挑戦(失敗)

国際宇宙ステーション(ISS)は、日本、米国、ロシア、カナダ、欧州の15カ国が協力して建設した、地上約400km上空にある人類史上最大の有人実験施設。その大きさは約108.5m×72.8mとほぼサッカー場ほどの大きさとなり、質量は約420トンにもなる。

ArduinoでEFレンズを制御する実験(2)

注文していたマクロアダプターが追跡情報の更新がないまま届きました。13/21/31mmの3個がセットとなっています。左側がアダプター、右側がZWOのCCDカメラで、色が良く似ています。

 本来、レンズとカメラボディの間に取り付けるアダプターなので、CCDカメラと接続するには工夫が必要です。13mmと21mmのアダプターを使って、CCDカメラと接続してみたところ、望遠端付近ではピントが出ました。広角側ではピントが出ませんでした。

強度などの問題があるかもしれませんが、3DプリンターでマクロアダプターとCCDカメラを接続するアダプターを作ってみました。2つのパーツで構成し、M3ネジで接続しています。CCDカメラとは3Dプリンターで作成したM42,0.75Pのネジで接続しています。CADソフトはホビー用途であれば無料で利用できるFusion360を使っています。

CCDカメラ側のパーツを取り付けるまえに、マクロアダプターの接点にリード線を半田づけして引き出し、レンズの制御と電源を供給するコネクタと接続します。マクロアダプターとこのパーツを固定するために、6mmのネジで締め付けています。何回か試作を繰り返した結果、青のフィラメントが無くなったので、手持ちの白にチェンジ!

EFレンズに接続した様子と、フォーカスのハンド・コントローラ。
ソースコードの最新版は、こちら

組み立ててはみたものの、残念ながら動作が不安定です。今のところ、EF-S 18-55mmと同ISは、それなりに制御できますが、EF 35-80mmとEF70-200 1:28Lはまったく動きません。ロジックアナライザーでデコードしたSPIのデータ観測すると、どのレンズでも同じように見えるのですが、、、
 本来、SPIの信号はボード内の短い距離の伝送用なので、コントローラの線が長すぎるのかもしれません。今後、配線の短縮またはバッファーやレベル変換を追加して、改善するかどうか確認したいと思っています。
(追記)ケーブルを約70cmから約25cmに変更したら、手持ちのレンズ全てが一応動くようになりました。ただし、まだ不安定な面もあるので、さらに短くする必要がありそうです。SPIの信号を生成するマイクロプロセッサー(Arduino nano)を、レンズに近接して配置できるよう取り付け方法の変更が必要かもしれません。この場合、ピントの調整を操作するSW付きのロータリーエンコーダの部分だけ、ケーブルで接続した別の箱に格納した方が良さそうです。

ArduinoでEFレンズを制御する実験

ArduinoでEFレンズを制御する実験のメモです。カメラレンズで星雲などを撮影しようとすると、手動でピントを合わせる必要がありますが、微妙な操作が必要でなかなかピントを合わせるのに苦労します。そこで、ステッピングモータでピントを調整しようと、3Dプリンターでこんなものを作ってみました。そうこうしているうちに、CANONのEFレンズをArduinoで制御できるらしいとの情報を得て、自分でも実験してみることに。

レンズの制御信号を取り出せるマウントアダプターを注文したのですが、到着にはしばらく時間がかかりそうなので、手持ちのカメラレンズ(EF-S 18-55mm USM)から信号を取り出すために、7本のリード線を半田づけします。(あくまでも自己責任で、、)
この作業には、こちらのリンクが非常に参考になりました。大型のレンズでは、レンズを駆動するモータ用として6Vの別電源が必要のようですが、実験に使ったレンズではロジック回路と同じ5Vで問題なく駆動できています。

主な材料
秋月の2色LED付きロータリーエンコーダ
OLED  128×64 I2C ディスプレイ
Arduino NANO

回路図

実験に使ったArduno NANOのスケッチ
不用な変数などが残っていますが、とりあえず公開します。(実用化には、まだまだ課題が残っています。)制御の対象はフォーカスと絞りの2種類です。ロータリーエンコーダのSWの長押しで、赤と緑のLEDがトグルで点灯します。赤の点灯中にSWを押してフォーカスを変更し、緑のLED点灯中にSWを押すと絞り値を変更できます。

/*
   ロータリーエンコーダの参照コード
   https://jumbleat.com/2016/12/17/encoder_1/
*/
/*
   EFレンズの制御関連参考リンク
   ASCOM EF Lens Controller
   http://www.indilib.org/media/kunena/attachments/3728/ascom_efEN.pdf

   EFレンズから信号線の引き出の参照資料
   How to Move Canon EF Lenses Yosuke Bando
   http://web.media.mit.edu/~bandy/invariant/move_lens.pdf

   Canon EFレンズのArduino制御
   http://otobs.org/hiki/?EOS_model
   Technical aspects of the Canon EF lens mount
   http://www.eflens.com/lens_articles/ef_lens_mount.html
*/
#include <SPI.h>
#include <EEPROM.h>
#include <math.h>

#include <Adafruit_GFX.h>
#include <Adafruit_SSD1306.h>
#include <Wire.h>
#define SCREEN_WIDTH 128
#define SCREEN_HEIGHT 64
#define OLED_RESET -1
//Adafruit_SSD1306 display(1);
Adafruit_SSD1306 display(SCREEN_WIDTH, SCREEN_HEIGHT, &Wire, OLED_RESET);
#define RUN

#define LED_SW   7
#define ENC_A  2
#define ENC_B  3
#define LED_Red 14
#define LED_Green 15

volatile byte pos;
volatile int  enc_count;
boolean    sw = false;
int mode = 0;
int mode_counter[2];
int focuserPosition, targetPos, apValue, offset, apAddr, x, y;
String targetStr, apStr, gStr;
boolean IsMoving, IsFirstConnect;
char inStr[6];

void InitLens()
{
  SPI.transfer(0x0A);
  delay(30);
  SPI.transfer(0x00);
  delay(30);
  SPI.transfer(0x0A);
  delay(30);
  SPI.transfer(0x00);
  delay(30);
}

int ENC_COUNT(int incoming) {
  static int enc_old = enc_count;
  int val_change = enc_count - enc_old;

  if (val_change != 0)
  {
    incoming += val_change;
    enc_old   = enc_count;
  }
  return incoming;
}

void ENC_READ() {
  byte cur = (!digitalRead(ENC_B) << 1) + !digitalRead(ENC_A);
  byte old = pos & B00000011;
  byte dir = (pos & B00110000) >> 4;

  if (cur == 3) cur = 2;
  else if (cur == 2) cur = 3;

  if (cur != old)
  {
    if (dir == 0)
    {
      if (cur == 1 || cur == 3) dir = cur;
    } else {
      if (cur == 0)
      {
        if (dir == 1 && old == 3) enc_count++;
        else if (dir == 3 && old == 1) enc_count--;
        dir = 0;
      }
    }
    pos = (dir << 4) + (old << 2) + cur;
  }
}

void setup() {
  digitalWrite(13, LOW); // SPI Clock PIN
  pinMode(ENC_A, INPUT_PULLUP);
  pinMode(ENC_B, INPUT_PULLUP);
  pinMode(LED_Red, OUTPUT);
  pinMode(LED_Green, OUTPUT);
  pinMode(LED_SW, INPUT_PULLUP);
//  pinMode(MIN, INPUT_PULLUP);
//  pinMode(MAX, INPUT_PULLUP);
  attachInterrupt(0, ENC_READ, CHANGE);
  attachInterrupt(1, ENC_READ, CHANGE);

  display.begin(SSD1306_SWITCHCAPVCC, 0x3C);
  display.clearDisplay();

  // テキストサイズを設定
  display.setTextSize(3);
  // テキスト色を設定
  display.setTextColor(WHITE);
  display.setCursor(0, 10);
  display.println("EF-LensFocuser");
  display.display();
  delay(1000);
  mode = 0;
  apAddr = 0;
  focuserPosition = 5000;
  SPI.begin();
  SPI.setBitOrder(MSBFIRST);
  SPI.setClockDivider(SPI_CLOCK_DIV128);
  SPI.setDataMode(SPI_MODE3);
  digitalWrite(12, HIGH);
  InitLens();
  digitalWrite(LED_Red, HIGH);
  digitalWrite(LED_Green, LOW);

  apValue=EEPROM.read(apAddr);
  Serial.begin(9600);
  Serial.println(apValue);
  // nothing to do inside the setup
}

void loop() {
  int sw_count;
  short counter_now;
  sw_count = 0;
  while (digitalRead(LED_SW) == LOW) {
    sw_count++;
    if (sw_count > 50) {
      if (mode == 1) {    // 新モードはフォーカス制御
        digitalWrite(LED_Red, HIGH);
        digitalWrite(LED_Green, LOW);
      } else {            // 新モードは絞り制御
        digitalWrite(LED_Green, HIGH);
        digitalWrite(LED_Red, LOW);
      }
    }
    delay(10);
  }
  delay(100);
  if (sw_count > 50) {
    if (mode == 0) {
      mode = 1;   // 絞りモード
      digitalWrite(LED_Green, HIGH);
      digitalWrite(LED_Red, LOW);
    } else {
      mode = 0;   // フォーカスモード
      digitalWrite(LED_Red, HIGH);
      digitalWrite(LED_Green, LOW);
    }
  }
  if (sw_count != 0 && (sw_count < 50) ) {
    if  (mode == 0 ) { // Send command to LENS フォーカス
      targetPos =  mode_counter[mode] ;
      offset = mode_counter[mode] ;
      x = highByte(offset);
      y = lowByte(offset);
      InitLens();
      IsMoving = true;
      Serial.print(offset); Serial.print(",");
      Serial.print(x); Serial.print(",");
      Serial.println(y);
      SPI.transfer(68);       delay(30);
      SPI.transfer(x);        delay(30);
      SPI.transfer(y);        delay(30);
      SPI.transfer(0);        delay(100);
      IsMoving = false;
      focuserPosition = targetPos;
    } else {              // 絞り
      apValue = mode_counter[mode] % 20;
      if (apValue != EEPROM.read(apAddr))
      {
        InitLens();
        Serial.println("AP");
        SPI.transfer(0x07);          delay(10);
        SPI.transfer(0x13);          delay(10);
        SPI.transfer((apValue - EEPROM.read(apAddr)) * 3);
        delay(100);
        SPI.transfer(0x08);          delay(10);
        SPI.transfer(0x00);          delay(10);
        EEPROM.write(apAddr, apValue);
      }
    }
  }

  counter_now = ENC_COUNT(mode_counter[mode]);
  if (mode_counter[mode] != counter_now)
  {
    mode_counter[mode] = counter_now;
  }
  disp_update();
}

void disp_update() {
  display.clearDisplay();
  display.setCursor(0, 10);
  display.print(" F:");
  display.println( mode_counter[0] );
  display.print(" A:");
  display.println(mode_counter[1]);
  display.display();
}