テキストから動画が生成できるAIを使ってみました!
Luma Dream Machineとは
Lumaが提供するDream Machineは、テキストや絵からリアルなハイクオリティ動画を生成するAIモデルだそうです。
動画生成は無料でも月30回は使うことができます!
サブスクリプションを行えば生成回数が増え、商用利用も可能になります。
使ってみる
まずは Luma Dream Machine 公式ページ にアクセス。
右上の「Try NOW」からGoogleアカウント連携すれば利用できます。
テキストから動画生成
早速、動画生成してみましょう。
テキスト入力欄があるので「猫が草原で走りまわる」と入力して生成してみます。
生成中……
3~5分程度待つと生成されました。
日本語のテキスト入力で生成可能なようです。
生成された動画はこちら!
草原で走る(歩く?)猫ちゃんの動画が生成されました!
最後の方の歩き方はちょっと違和感ですが、ほぼ入力の通りに生成してくれました。
では続いてちょっと無茶ぶりしてみます。
「二股の尻尾の生えた黒猫が満月に向かって走る」で生成してみます。
生成された動画はこちら!
ふてぶてしく走る(歩く?)黒猫ちゃんの動画が生成されました!
月明りのライティング加減や猫ちゃんの目が光っていたりとリアルに生成されている印象です。
ただ、学習元データ的に猫の尻尾は二股ではないので、二股尻尾という要望は無視されてしまいました。残念。
画像から動画生成
続いて画像からも動画が生成できる機能を使っていきます。
ネモフィラの花畑で猫が眠る動画を見たいので、それをテキストで指定して生成!
今回インプットとして利用した画像はこちらです。
生成された動画はこちら!
猫ちゃん……どこ……??
画像に存在しない猫を生成するのが難しかったからなのか、猫が動画上に一切見当たりませんでした……
気を取り直して、画像上に存在するものなら動かせるはず……ということで、花の色や空の色を変化させるよう指定。
生成された動画はこちら!
う~む
スゴイ頑張ってくれている雰囲気を感じますが、うまくはいきませんでした。
現実的ではない変化は無理みたいです。
ラストワンチャンスで次は銅像を躍らせてみようと思います!
入力する画像はこちら。
生成した動画はこちら!
踊れよぉぉおおおおおおおおおおおお!!
ということで、踊りませんでした。
「銅像は動かないもの」という固定観念がAIにはあるみたいですね。
感想
今回はテキストから動画生成可能な Luma Dream Machine を使ってみました!
生成モデルが現実から学習されているため、無茶ぶりな要求をすると無視されたり変になってしまいますが、現実的なオーダーならきちんと生成してくれました。
メインコンテンツとして利用するにはまだまだ粗い部分が多いですが、それでも将来は使えるレベルに進化している可能性は十分にありますし、現段階でもサブの位置づけでなら十分活用できるのはないかと思います。
またLumaAIといえば以前記事にした、テキストから3Dモデルを生成できる「Luma AI Genie」と同じところが出しているサービスになります。
コンテンツをAIで生成できるサービスは増えてきていますし、創作の補助として面白く利用してみるのも良いかもしれませんね。
以上!