2024年1月24日、Googleの研究チームは、テキストや画像から高品質な動画を生成できるAI「Lumiere」を発表しました。Lumiereは、フレーム同士のつながりが自然で違和感の少ない動画を生成できることが特徴のようです。下記に要点をまとめてみました。

Lumiereの特徴

Lumiereは、動画全体のフレームを一度に生成する「フレーム全体生成」という手法を用いています。この手法により、従来の動画生成AIに比べて、フレーム同士のつながりが自然で違和感の少ない動画を生成することができます。

また、Lumiereは、テキストや画像を入力することで、動画を生成することができます。テキストを入力すると、その内容を表現した動画を生成することができます。画像を入力すると、その画像を元にした動画を生成することができます。

さらに、Lumiereは、動画の一部分を指定して別の動画に置き換えたり、写真の一部分だけを動かしたりといった操作も可能です。例えば、映画のワンシーンを別の映画のワンシーンに置き換えたり、写真の人物だけを動かしたりといったことができます。

Lumiereの活用シーン

Lumiereは、さまざまなシーンで活用することができます。例えば、

• 映画やテレビドラマなどの制作
• ゲームやアプリの開発
• 教育やトレーニング
• 広告やマーケティング

などの分野で活用されることが期待されています。

Lumiereの課題

Lumiereは、まだ開発中のAIであり、課題もあります。例えば、

• 生成可能な動画の長さが短い（5秒程度）
• 生成可能な動画の品質が必ずしも均一ではない

などの課題があります。

今後、Lumiereの開発が進み、これらの課題が解決されることで、Lumiereの活用シーンはさらに広がっていくと考えられます。

まとめ

Googleが開発した動画生成AI「Lumiere」は、フレーム同士のつながりが自然で違和感の少ない動画を生成できることが特徴です。テキストや画像を入力することで動画を生成したり、動画の一部分を別の動画に置き換えたりといった操作も可能です。Lumiereは、さまざまなシーンで活用されることが期待されています。