torch_dtype=torch.float16 指定を外すとどうなるか試しました。
» Read Moreそこそこに速いシリコンマックで ELYZA-japanese-Llama-2-7b-fast-instruct を使って クライアントからテキストを投げると JSON文字列 を返すサーバをつくります。
» Read Moreいつも US Keyboard を使ったマックでは、日本語と英語入力の切り替えを Command + Space で行っている。
Macで日本語入力ソースに切り替える https://support.apple.com/ja-jp/guide/japanese-input-method/jpimf6ffb247/mac この辺の話。 毎回セットアップのたびに右往左往しているので、記録しておく。
» Read MoreKindle 用のEPUB生成に Asciidoctor と Pandoc を使っている。 M1 macbook air (Ventura) にも同じ環境をつくることにした。その備忘録です。 なお Homebrew は使わない。
» Read MoreKindle 用のEPUB生成に Pandoc を使っているのだが、古い Pandoc では、ソースコードとして json を記述した部分のインデントが意図通り変換されない問題があった。 そこで最新の Pandoc にすれば解決するかと思い、インストールをはじめた。 予想外に大変だったのでインストール記録を残す。 なお、json のインデント問題は解消されました。
» Read More無印のスタッキングシェルフの留め具のネジ部分にマグネットを付けた上で、 充電ケーブルにもマグネット付きケーブルホルダーをつけるとこのようにスッキリさせることができます、という話。
Large Language Model をローカルで動かす時代が到来するらしい。
Reddit には LocalLLaMA というサブレディットがあり、かなり盛り上がっている。 そこでは シリコンマックを使っているひとが結構いる。 Meta の 商用利用も可能な Llama 2 がオープンソースで提供された結果、 その派生プロジェクトがいろいろ存在している。 そのなかには、低スペックの シリコンマックでも LLM を実行できるものがある。 Pytorch もMetal 対応していて、 おそらくは、Pytorch 依存の LLM モデルについては、Linux + CUDA と同じ手順で動かせるのではないかと思う。
Pytorch を使う方法を 手元の M1 Macbook Air 8GB で試したが残念ながら作動しなかった。 たぶんメモリが足りないのだと思う。 十分メモリがあれば動くのではないかと思うが定かではない。
それでも Llama.cppと軽量化されたモデルを使うことで M1 Macbook Air 8GB でも作動させることができた。
このエントリーでは、Linux + CUDA で、 Llama 2 をベースに商用利用可能な日本語LLM ELYZA を試します。
» Read MoreWindows 11 の WSL での話です。 久しぶりの使おうとしたら 以前に設定した open コマンドが使えなくなっていた。 調べたところ firefox.exe へのパスが変わっていた。 Firefox がどのパスにインストールされるかは、環境によってマチマチかもしれないのだが、とりあえず、ここの環境で動いた例を書き残します。
» Read More
いつも使っているペンたち。 主には sarasa nano で、時々 uni-ball ONE F を使う。 sarasa nano はずっと 黒 / 青 / 赤 の三色の使い分けのために３本運用できたのだが、 最近、もう一色使いたくなり、もう一本軸を追加（ブルーグレー）した。 既存の三色 黒 / 青 / 赤 に対してコントラストのある色となると 緑 かな、ということで緑の替芯を探しました。
» Read MoreUnderscore.js を以前は Node.js + Babel + Webpack を使って 一つの jsx ファイルにまとめて使っていた。 しかし、時が経ち Node.js 自体もバージョンアップされモジュールもバージョンアップ・・・ なんやかんやで今や最新の環境ではうまく作動しないことがわかった。
InDesign も UXP が使えるようになったので、 ExtendScript で ES6 記述ができるとか今さら・・・とも思うのですが、ビジネスにおいては まだ当分の間 ExtendScript が使われていく気がするので、 最新の Node.js 環境で ExtendScript 用に Underscore.js などのモジュールの利用、 そして ES6 スタイルでの const, let, テンプレートリテラル, アロー関数などの構文が記述できる状態にしたい。
ごく簡単なコードでしか検証していませんが、 やり方がわかったので、備忘録としてシェアします。
» Read More