KARAKURI LMについて

「KARAKURI LM」は、カラクリが開発する国産オープンモデルの中で最高性能の大規模言語(LLM)シリーズの総称です。
こちらではKARAKURI LMの特徴やローカルLLMを使いこなすTipsなど、生成AIのビジネス支援に役立つ情報を提供します。

国産オープンモデルで最高性能のLLM

低コスト×高性能を実現

「KARAKURI LM」は、カラクリが開発する大規模言語モデル(LLM)シリーズの総称です。日本のAI技術の発展のためにオープンモデルとして公開しています。
KARAKURI LM _ Media用_2@@2x-1
※「Japanese MT-Bench」はStability AI社が提供しているベンチマークテストです。各シリーズリリース時点の評価において、国内オープンモデルの中でトップレベルの評価を得ております。

特徴

質の高いデータ作成

ill_10

「学習データの品質=AIの出力精度」の中、LLM開発のデータ作成を委託している会社がほとんどです。カラクリはカスタマーサポートの経験のある社員LLMの開発を行うリサーチャーたちが自らデータを作成し、高品質なデータを揃えています。

学習コスト50%削減

名称未設定のデザイン (50)

NVIDIAのGPUと比較するとトレーニングコストを50%削減できるAWS Tranium。その活用においてカラクリは初めてMoEモデルの学習を成功させるなど世界トップレベルの技術を誇ります。

オープンモデル活用

data_08

LLMの事前学習は通常、数百億円のコストが発生します。カラクリはMeta社のLlamaや東京工業大学のSwallowなどのオープンなべースモデルに継続事前学習や事後学習を行うことで、低コストで高性能なモデルを実現しています。

国内唯一 “9つのパラメーター設定 ”

parameter

9つのスコア付けで学習・出力の精度をあげる学習方法

KARAKURI LMはSteerLMと呼ばれる特殊な学習方法を用いています。それによって、9つのパラメーター(使用するときに変更できる数値)の設定が可能です。出力時にパラメーターを変えることで、用途にあった出力を得ることができます。

多くの大規模言語モデルは学習データのラベル付けを「良い」「悪い」の2軸で設定することが多い中、KARAKURI LMは「Helpfulness」「Correctness」「Coherence」など9つのスコアでデータを学習させており、それによって少ないデータでも高精度な出力を可能にしています。

ビジネス活用における強み

大手企業が求める3要素『セキュリティ』『インテグレーション』『カスタマイズ』に強いモデルです。

盾やチェックマークなど、安全性や品質保証を表現したアイコン-1

『セキュリティ』

各社のプライベートクラウドやオンプレのシステム内に構築可能です。ハイエンドなPCであればローカルでの実行も可能。

ai_bold_2

『インテグレーション』

LLMをシステムに組み込む際に使われるRAGやFunction callingに日本語モデルでは唯一対応しており、AIエージェントとしても使用可能。

data_16

『カスタマイズ』

 各企業の情報を学習したモデルを作成でき、特にAWSの生成AI専用チップを使うことで数十万円~という圧倒的低コストを実現。特化型軽量モデルの作成も対応可能。

オープンソースモデルへのこだわり

tom

プロフィール

シリコンバレーへ留学後、東京大学大学院へ進学。在学中に機械学習の社会実装を推進するため、2016年10月カラクリ株式会社を共同創業。東京大学大学院博士卒。

CPO中山智文 コメント

「KARAKURI LM」をオープンモデルとして公開した際、「なぜするのか?」というご質問をよく頂きました。その答えは2つあります。1つはカラクリの技術力を公平に評価していただきたいからです。多くの企業がモデルをクローズドにしており、実際にどのような評価を行い、どのような精度なのかもわからない状態で、「AI」を開発していることを謳っています。まだまだ駆け出しのスタートアップであるカラクリが信用していただくためには、オープンにすることで多くの技術者に評価していただくことが重要だと考えました。

もう1つは社会の知を拡げていくことに貢献したいという想いがあるからです。カラクリは「今までにないカラクリで世の中を豊かに」というミッションを掲げて創業した会社です。当時はR&Dチームの全員が東京大学の大学院でのAI関連の研究を行っているメンバーでした。「巨人の肩の上に立つ」という言葉がありますが、AIやLLMの研究はまさにそのようなものだと思っています。私たちのモデルも多くの先人たちの研究の上に成り立っており、そこにいくつかの「今までにないカラクリ」を加えたことで高性能なモデルを実現することができました。その知見をまた社会に還元し、AGIやASI、ひいては豊かな社会の実現に少しでも貢献していきたい、そういう思いでモデルやノウハウの公開に踏み切った次第です。

カラクリはこれからも「今までにないカラクリ」を作り続け、オープンマインドと技術を持って「豊かな社会」の実現をしていきたいと思います。

ローカルLLM入門ガイド『KARAKURI TechBlog』

icon_256x256 (2)-1

Want more info?

KARAKURI LMについて
お気軽にお問合せください